يحدد مكون خط أنابيب ExampleValidator الحالات الشاذة في التدريب وتقديم البيانات. يمكنه اكتشاف فئات مختلفة من الحالات الشاذة في البيانات. على سبيل المثال يمكنه:
- إجراء عمليات التحقق من الصلاحية من خلال مقارنة إحصائيات البيانات بمخطط يقنن توقعات المستخدم.
- الكشف عن انحراف خدمة التدريب من خلال مقارنة بيانات التدريب والخدمة.
- اكتشاف انحراف البيانات من خلال النظر في سلسلة من البيانات.
- إجراء عمليات تحقق مخصصة باستخدام تكوين مستند إلى SQL.
يحدد مكون خط أنابيب ExampleValidator أي حالات شاذة في بيانات المثال من خلال مقارنة إحصائيات البيانات المحسوبة بواسطة مكون خط أنابيب StatisticsGen مقابل مخطط. يقوم المخطط المستنتج بترميز الخصائص التي من المتوقع أن تلبيها بيانات الإدخال ، ويمكن للمطور تعديلها.
- يستهلك: مخطط من مكون SchemaGen ، وإحصائيات من مكون StatisticsGen.
- ينبعث: نتائج التحقق من الصحة
ExampleValidator و TensorFlow Data Validation
يستخدم ExampleValidator بشكل مكثف التحقق من صحة بيانات TensorFlow للتحقق من صحة بيانات الإدخال.
استخدام مكون ExampleValidator
عادةً ما يكون من السهل جدًا نشر مكون خط أنابيب ExampleValidator ويتطلب القليل من التخصيص. يبدو الرمز النموذجي كما يلي:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
المزيد من التفاصيل متاحة في مرجع ExampleValidator API .