يحدد مكون خط الأنابيب exampleValidator الحالات الشاذة في التدريب وتقديم البيانات. يمكنه اكتشاف فئات مختلفة من الحالات الشاذة في البيانات. على سبيل المثال يمكن:
- إجراء فحوصات الصلاحية من خلال مقارنة إحصائيات البيانات مع المخطط الذي يقنن توقعات المستخدم.
- اكتشاف انحراف خدمة التدريب من خلال مقارنة بيانات التدريب والخدمة.
- اكتشاف انحراف البيانات من خلال النظر في سلسلة من البيانات.
- إجراء عمليات التحقق المخصصة باستخدام التكوين المستند إلى SQL.
يحدد مكون خط أنابيب exampleValidator أي حالات شاذة في بيانات المثال من خلال مقارنة إحصائيات البيانات المحسوبة بواسطة مكون خط أنابيب StatisticsGen مقابل المخطط. يقوم المخطط المستنتج بتدوين الخصائص التي من المتوقع أن تلبيها البيانات المدخلة، ويمكن للمطور تعديلها.
- يستهلك: مخطط من مكون SchemaGen، وإحصائيات من مكون StatisticsGen.
- تنبعث: نتائج التحقق من الصحة
exampleValidator والتحقق من صحة بيانات TensorFlow
يستخدم exampleValidator بشكل مكثف تقنية TensorFlow Data Validation للتحقق من صحة بيانات الإدخال الخاصة بك.
باستخدام مكون exampleValidator
عادةً ما يكون نشر مكون خط أنابيب exampleValidator سهلًا للغاية ويتطلب القليل من التخصيص. يبدو الرمز النموذجي كما يلي:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
تتوفر المزيد من التفاصيل في مرجع exampleValidator API .