Esta página foi traduzida pela API Cloud Translation.
Switch to English

Melhorando a qualidade do modelo com a análise do modelo TensorFlow

Introdução

À medida que você ajusta seu modelo durante o desenvolvimento, é necessário verificar se suas alterações estão melhorando seu modelo. Apenas verificar a precisão pode não ser suficiente. Por exemplo, se você tiver um classificador para um problema no qual 95% de suas instâncias são positivas, poderá melhorar a precisão sempre prevendo sempre positivo, mas não terá um classificador muito robusto.

Visão geral

O objetivo da Análise de Modelo do TensorFlow é fornecer um mecanismo para avaliação de modelo no TFX. A Análise de modelo do TensorFlow permite executar avaliações de modelo no pipeline TFX e visualizar métricas e plotagens resultantes em um notebook Jupyter. Especificamente, ele pode fornecer:

  • métricas calculadas em todo o conjunto de dados de treinamento e validação, bem como avaliações no dia seguinte
  • acompanhamento de métricas ao longo do tempo
  • desempenho da qualidade do modelo em diferentes fatias de recursos

Exportando o EvalSavedModel do seu modelo

Para configurar a Análise de modelo TensorFlow em um pipeline TFX, um EvalSavedModel precisa ser exportado durante o treinamento, que é um SavedModel especial que contém anotações para métricas, recursos, rótulos etc. no seu modelo. A análise do modelo TensorFlow usa esse EvalSavedModel para calcular métricas.

Como parte disso, você precisará fornecer um eval_input_receiver_fn especial, análogo ao serving_input_receiver_fn , que extrairá os recursos e rótulos dos dados de entrada. Assim como no serving_input_receiver_fn , temos funções utilitárias para ajudá-lo com isso. Na maioria dos casos, você precisará adicionar menos de 20 linhas de código.

Visualização em um notebook Jupyter

Os resultados da avaliação são visualizados em um notebook Jupyter.

Guia Avaliações

A interface do usuário é composta de três partes:

  • Seletor de Métricas

    Por padrão, todas as métricas calculadas são exibidas e as colunas são classificadas em ordem alfabética. O seletor de métricas permite ao usuário adicionar / remover / reordenar métricas. Basta marcar / desmarcar métricas no menu suspenso (mantenha pressionada a tecla Ctrl para seleção múltipla) ou digite / reorganize-as diretamente na caixa de entrada.

    Seletor de métricas

  • Gráficos de séries temporais

    Os gráficos de séries temporais facilitam a identificação de tendências de uma métrica específica em períodos de dados ou execuções de modelos. Para renderizar o gráfico da métrica interessada, basta clicar nela na lista suspensa. Para descartar um gráfico, clique no X no canto superior direito.

    Exemplo de gráfico de séries temporais

    Passe o mouse sobre qualquer ponto de dados no gráfico mostra uma dica de ferramenta indicando a execução do modelo, o período de dados e o valor da métrica.

  • Tabela de métricas

    A tabela de métricas resume os resultados de todas as métricas escolhidas no seletor de métricas. Para classificá-lo, clique no nome da métrica.

Guia Métricas de fatiamento

A guia Métricas de faturamento mostra o desempenho de diferentes fatias de uma determinada avaliação. Por favor, escolha a configuração desejada (avaliação, recurso, etc.) e clique em Atualizar.

O URL é atualizado após a atualização e contém um link direto que codifica a configuração escolhida. Pode ser compartilhado.

A interface do usuário é composta de três partes:

  • Seletor de Métricas

    Veja acima.

  • Visualização Métrica

    A visualização métrica visa fornecer intuição sobre fatias no recurso escolhido. Uma filtragem rápida está disponível para filtrar fatias com uma pequena contagem de amostras ponderada.

    Exemplo de visualização filtrada

    Dois tipos de visualizações são suportados:

    1. Visão geral da fatia

      Nessa visão, o valor da métrica escolhida é renderizado para cada fatia e as fatias podem ser classificadas pelo nome da fatia ou pelo valor de outra métrica.

      Visão geral da fatia de amostra

      Quando o número de fatias é pequeno, esta é a visualização padrão.

    2. Histograma de métricas

      Nesta exibição, as fatias são divididas em intervalos com base em seus valores de métricas. Os valores exibidos em cada balde podem ser o número de fatias no balde ou a contagem total ponderada de amostras para todas as fatias no balde ou ambos.

      Amostra de histograma de métricas

      O número de caçambas pode ser alterado e a escala logarítmica pode ser aplicada no menu de configurações clicando no ícone de roda dentada.

      Alteração das configurações do histograma de métricas

      Também é possível filtrar os outliers na visualização do histograma. Simplesmente arraste o intervalo desejado no histograma, como mostra a imagem abaixo.

      Histograma de métricas filtradas

      Quando o número de fatias é grande, esta é a visualização padrão.

  • Tabela de métricas

    Somente fatias não filtradas serão renderizadas. Pode ser classificado clicando no cabeçalho da coluna.