Składnik potoku ExampleValidator identyfikuje anomalie w uczeniu i udostępnianiu danych. Może wykrywać różne klasy anomalii w danych. Na przykład może:
- przeprowadzaj testy poprawności, porównując statystyki danych ze schematem, który kodyfikuje oczekiwania użytkownika
- wykryć zniekształcenie obsługi szkoleniowej, porównując dane dotyczące szkolenia i udostępniania.
- wykryć dryf danych, patrząc na serię danych.
Składnik potoku ExampleValidator identyfikuje wszelkie anomalie w przykładowych danych, porównując statystyki danych obliczone przez składnik potoku StatisticsGen ze schematem. Wywnioskowany schemat kodyfikuje właściwości, które mają spełniać dane wejściowe, i może zostać zmodyfikowany przez programistę.
- Konsumuje: schemat ze składnika SchemaGen i statystyki ze składnika StatisticsGen.
- Emituje: wyniki walidacji
ExampleValidator i TensorFlow Data Validation
ExampleValidator w szerokim zakresie wykorzystuje TensorFlow Data Validation do walidacji danych wejściowych.
Korzystanie ze składnika ExampleValidator
Składnik potoku ExampleValidator jest zwykle bardzo łatwy do wdrożenia i wymaga niewielkiego dostosowania. Typowy kod wygląda następująco:
from tfx import components
...
validate_stats = components.ExampleValidator(
statistics=compute_eval_stats.outputs['statistics'],
schema=infer_schema.outputs['schema']
)