คอมโพเนนต์ไปป์ไลน์ TFX ExampleValidator

ส่วนประกอบไปป์ไลน์ ExampleValidator ระบุความผิดปกติในข้อมูลการฝึกและการให้บริการ สามารถตรวจจับความผิดปกติประเภทต่างๆ ในข้อมูลได้ ตัวอย่างเช่น มันสามารถ:

1. ดำเนินการตรวจสอบความถูกต้องโดยการเปรียบเทียบสถิติข้อมูลกับสคีมาที่ประมวลผลความคาดหวังของผู้ใช้
2. ตรวจจับการบิดเบือนการให้บริการการฝึกอบรมโดยการเปรียบเทียบข้อมูลการฝึกอบรมและการให้บริการ
3. ตรวจจับการเบี่ยงเบนของข้อมูลโดยดูจากชุดข้อมูล
4. ดำเนิน การตรวจสอบแบบกำหนดเอง โดยใช้การกำหนดค่าแบบ SQL

ส่วนประกอบไปป์ไลน์ ExampleValidator ระบุความผิดปกติใดๆ ในข้อมูลตัวอย่างโดยการเปรียบเทียบสถิติข้อมูลที่คำนวณโดยส่วนประกอบไปป์ไลน์ StatisticsGen กับสคีมา สคีมาที่อนุมานจะเข้ารหัสคุณสมบัติที่ข้อมูลอินพุตคาดว่าจะเป็นไปตามนั้น และนักพัฒนาสามารถแก้ไขได้

• ใช้: สคีมาจากองค์ประกอบ SchemaGen และสถิติจากองค์ประกอบ StatisticsGen
• ปล่อย: ผลการตรวจสอบ

ExampleValidator และการตรวจสอบข้อมูล TensorFlow

ExampleValidator ใช้ TensorFlow Data Validation อย่างกว้างขวางเพื่อตรวจสอบข้อมูลอินพุตของคุณ

การใช้ส่วนประกอบ ExampleValidator

โดยทั่วไปส่วนประกอบไปป์ไลน์ ExampleValidator นั้นง่ายต่อการปรับใช้และต้องการการปรับแต่งเพียงเล็กน้อย รหัสทั่วไปมีลักษณะดังนี้:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

มีรายละเอียดเพิ่มเติมใน การอ้างอิง ExampleValidator API