مكون خط أنابيب ExampleValidator TFX

تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

يحدد مكون خط أنابيب ExampleValidator الحالات الشاذة في التدريب وتقديم البيانات. يمكنه اكتشاف فئات مختلفة من الحالات الشاذة في البيانات. على سبيل المثال يمكنه:

  1. إجراء عمليات التحقق من الصلاحية من خلال مقارنة إحصائيات البيانات بمخطط يقنن توقعات المستخدم
  2. الكشف عن انحراف خدمة التدريب من خلال مقارنة بيانات التدريب والخدمة.
  3. اكتشاف انحراف البيانات من خلال النظر في سلسلة من البيانات.

يحدد مكون خط أنابيب ExampleValidator أي حالات شاذة في بيانات المثال عن طريق مقارنة إحصائيات البيانات المحسوبة بواسطة مكون خط أنابيب StatisticsGen مقابل مخطط. يقوم المخطط المستنتج بترميز الخصائص التي من المتوقع أن تلبيها بيانات الإدخال ، ويمكن للمطور تعديلها.

  • يستهلك: مخطط من مكون SchemaGen ، وإحصائيات من مكون StatisticsGen.
  • ينبعث: نتائج التحقق من الصحة

ExampleValidator و TensorFlow Data Validation

ExampleValidator يجعل الاستخدام المكثف لل TensorFlow التحقق من صحة البيانات للتحقق من صحة البيانات المدخلة الخاصة بك.

استخدام مكون ExampleValidator

عادةً ما يكون من السهل جدًا نشر مكون خط أنابيب ExampleValidator ويتطلب القليل من التخصيص. يبدو الرمز النموذجي كما يلي:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

تتوفر في مزيد من التفاصيل إشارة ExampleValidator API .