O componente de pipeline TFX ExampleValidator

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

O componente de pipeline ExampleValidator identifica anomalias no treinamento e no fornecimento de dados. Ele pode detectar diferentes classes de anomalias nos dados. Por exemplo, pode:

  1. realizar verificações de validade comparando estatísticas de dados com um esquema que codifica as expectativas do usuário
  2. detecte a distorção de veiculação de treinamento comparando dados de treinamento e veiculação.
  3. detectar desvio de dados observando uma série de dados.

O componente de pipeline ExampleValidator identifica quaisquer anomalias nos dados de exemplo comparando estatísticas de dados calculadas pelo componente de pipeline StatisticsGen com um esquema. O esquema inferido codifica as propriedades que os dados de entrada devem satisfazer e podem ser modificados pelo desenvolvedor.

  • Consome: Um esquema de um componente SchemaGen e estatísticas de um componente StatisticsGen.
  • Emite: resultados de validação

Validação de dados do ExampleValidator e do TensorFlow

ExampleValidator faz uso extensivo de TensorFlow validação de dados para validar seus dados de entrada.

Usando o componente ExampleValidator

Um componente de pipeline ExampleValidator geralmente é muito fácil de implantar e requer pouca personalização. O código típico se parece com isso:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Mais detalhes estão disponíveis no referência ExampleValidator API .