Компонент конвейера ExampleValidator выявляет аномалии в обучении и обслуживании данных. Он может обнаруживать различные классы аномалий в данных. Например, он может:
- выполнять проверки достоверности, сравнивая статистику данных со схемой, кодифицирующей ожидания пользователя.
- выявлять асимметрию обслуживания обучения путем сравнения данных обучения и обслуживания.
- обнаруживать дрейф данных, просматривая серию данных.
- выполнять пользовательские проверки с использованием конфигурации на основе SQL.
Компонент конвейера ExampleValidator выявляет любые аномалии в данных примера, сравнивая статистику данных, вычисленную компонентом конвейера StatisticsGen, со схемой. Выведенная схема кодирует свойства, которым должны удовлетворять входные данные, и может быть изменена разработчиком.
- Потребляет: схема из компонента SchemaGen и статистика из компонента StatisticsGen.
- Выдает: результаты проверки
ExampleValidator и проверка данных TensorFlow
ExampleValidator широко использует проверку данных TensorFlow для проверки ваших входных данных.
Использование компонента ExampleValidator
Компонент конвейера ExampleValidator обычно очень прост в развертывании и требует небольшой настройки. Типичный код выглядит так:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
Более подробная информация доступна в справочнике по API ExampleValidator .