O TensorFlow Extended (TFX) é uma plataforma completa para a implantação de pipelines de produção de ML

A validação de dados com o TensorFlow (TensorFlow Data Validation ou TFDV) ajuda os desenvolvedores a entender, validar e monitorar dados de ML dimensionados. A TFDV é usada para analisar e validar petabytes de dados no Google todos os dias. Ela demonstrou ser capaz de ajudar os usuários do TFX a manter a integridade dos pipelines de ML.

Aplicar machine learning a conjuntos de dados do mundo real exige muito esforço para pré-processar os dados e deixá-los em um formato adequado. Isso inclui a conversão entre formatos, tokenização e derivação de texto, formação de vocabulários, bem como realizar diversas operações numéricas, como a normalização. É possível fazer tudo isso com o tf.Transform.

A análise de modelos do TensorFlow (TensorFlow Model Analysis ou TFMA) permite que os desenvolvedores calculem e visualizem métricas para os modelos. Antes de implantar um modelo de machine learning (ML), os desenvolvedores precisam avaliar o desempenho dele para garantir que atende a padrões de qualidade específicos e que se comporta como esperado para todas as parcelas relevantes dos dados. Por exemplo, um modelo pode ter uma AUC aceitável para todo o conjunto de dados de avaliação, mas não ter o desempenho desejado em parcelas relevantes. A TFMA fornece aos desenvolvedores as ferramentas necessárias para ter uma compreensão aprofundada do desempenho do modelo.

Sistemas de exibição de machine learning (ML) precisam ser compatíveis com controle de versões (para atualizações de modelo com opção de reversão) e diversos modelos (para experimentos com teste A/B). Além disso, é necessário garantir que modelos simultâneos ofereçam alta capacidade de aceleração de hardware (GPUs e TPUs) com baixa latência. O desempenho do TensorFlow Serving já foi provado ao lidar com dezenas de milhões de inferências por segundo no Google.