O componente de pipeline ExampleValidator identifica anomalias no treinamento e no fornecimento de dados. Ele pode detectar diferentes classes de anomalias nos dados. Por exemplo, pode:
- realizar verificações de validade comparando estatísticas de dados com um esquema que codifica as expectativas do usuário
- detecte a distorção de veiculação de treinamento comparando dados de treinamento e veiculação.
- detectar desvio de dados observando uma série de dados.
O componente de pipeline ExampleValidator identifica quaisquer anomalias nos dados de exemplo comparando estatísticas de dados calculadas pelo componente de pipeline StatisticsGen com um esquema. O esquema inferido codifica as propriedades que os dados de entrada devem satisfazer e podem ser modificados pelo desenvolvedor.
- Consome: Um esquema de um componente SchemaGen e estatísticas de um componente StatisticsGen.
- Emite: resultados de validação
Validação de dados do ExampleValidator e do TensorFlow
ExampleValidator faz uso extensivo de TensorFlow validação de dados para validar seus dados de entrada.
Usando o componente ExampleValidator
Um componente de pipeline ExampleValidator geralmente é muito fácil de implantar e requer pouca personalização. O código típico se parece com isso:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Mais detalhes estão disponíveis no referência ExampleValidator API .