Dołącz do społeczności SIG TFX-Addons i pomóż ulepszyć TFX! Dołącz do dodatków SIG TFX

Składnik ExampleValidator TFX Pipeline

Składnik potoku ExampleValidator identyfikuje anomalie w uczeniu i udostępnianiu danych. Może wykrywać różne klasy anomalii w danych. Na przykład może:

  1. przeprowadzaj testy poprawności, porównując statystyki danych ze schematem, który kodyfikuje oczekiwania użytkownika
  2. wykryć zniekształcenie obsługi szkoleniowej, porównując dane dotyczące szkolenia i udostępniania.
  3. wykryć dryf danych, patrząc na serię danych.

Składnik potoku ExampleValidator identyfikuje wszelkie anomalie w przykładowych danych, porównując statystyki danych obliczone przez składnik potoku StatisticsGen ze schematem. Wywnioskowany schemat kodyfikuje właściwości, które mają spełniać dane wejściowe, i może zostać zmodyfikowany przez programistę.

  • Zużywa: schemat ze składnika SchemaGen i statystyki ze składnika StatisticsGen.
  • Emituje: wyniki walidacji

ExampleValidator i TensorFlow Data Validation

ExampleValidator w szerokim zakresie wykorzystuje TensorFlow Data Validation do walidacji danych wejściowych.

Korzystanie ze składnika ExampleValidator

Składnik potoku ExampleValidator jest zwykle bardzo łatwy do wdrożenia i wymaga niewielkiego dostosowania. Typowy kod wygląda następująco:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Więcej szczegółów można znaleźć w dokumentacji interfejsu API ExampleValidator .