Komponent potoku TFX exampleValidator

Komponent potoku PrzykładValidator identyfikuje anomalie w danych szkoleniowych i udostępniających. Potrafi wykryć różne klasy anomalii w danych. Może na przykład:

  1. przeprowadzać weryfikację ważności poprzez porównanie statystyk danych ze schematem, który kodyfikuje oczekiwania użytkownika.
  2. wykrywać odchylenia w zakresie szkolenia i obsługi, porównując dane dotyczące szkolenia i udostępniania.
  3. wykryć dryf danych, patrząc na serię danych.
  4. przeprowadzaj niestandardowe walidacje przy użyciu konfiguracji opartej na języku SQL.

Komponent potoku PrzykładValidator identyfikuje wszelkie anomalie w przykładowych danych, porównując statystyki danych obliczone przez komponent potoku StatisticsGen ze schematem. Wywnioskowany schemat koduje właściwości, które mają spełniać dane wejściowe i które mogą być modyfikowane przez programistę.

  • Zużywa: schemat ze składnika SchemaGen i statystyki ze składnika StatisticsGen.
  • Emisje: Wyniki walidacji

Walidacja danych exampleValidator i TensorFlow

PrzykładValidator w szerokim zakresie wykorzystuje weryfikację danych TensorFlow do sprawdzania poprawności danych wejściowych.

Korzystanie ze składnika exampleValidator

Komponent potoku PrzykładValidator jest zazwyczaj bardzo łatwy do wdrożenia i wymaga niewielkiego dostosowywania. Typowy kod wygląda następująco:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Więcej szczegółów można znaleźć w dokumentacji API SampleValidator .