Компонент конвейера TFX ExampleValidator

Компонент конвейера ExampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Например, он может:

  1. выполнять проверки достоверности, сравнивая статистику данных со схемой, кодифицирующей ожидания пользователя.
  2. выявлять асимметрию обслуживания обучения путем сравнения данных обучения и обслуживания.
  3. обнаруживать дрейф данных, просматривая серию данных.

Компонент конвейера ExampleValidator выявляет любые аномалии в данных примера, сравнивая статистику данных, вычисленную компонентом конвейера StatisticsGen, со схемой. Выведенная схема кодирует свойства, которым должны удовлетворять входные данные, и может быть изменена разработчиком.

  • Потребляет: схема из компонента SchemaGen и статистика из компонента StatisticsGen.
  • Выдает: результаты проверки

ExampleValidator и проверка данных TensorFlow

ExampleValidator широко использует TensorFlow Data Validation для проверки входных данных.

Использование компонента ExampleValidator

Компонент конвейера ExampleValidator обычно очень прост в развертывании и требует небольшой настройки. Типичный код выглядит так:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Более подробная информация доступна в справочнике ExampleValidator API .