คอมโพเนนต์ไปป์ไลน์ ExampleValidator ระบุความผิดปกติในการฝึกอบรมและการแสดงข้อมูล สามารถตรวจจับความผิดปกติประเภทต่างๆ ในข้อมูลได้ ตัวอย่างเช่น สามารถ:
- ทำการตรวจสอบความถูกต้องโดยเปรียบเทียบสถิติข้อมูลกับสคีมาที่ประมวลความคาดหวังของผู้ใช้
- ตรวจจับการเอียงของการฝึกโดยการเปรียบเทียบข้อมูลการฝึกและการเสิร์ฟ
- ตรวจจับการเลื่อนไหลของข้อมูลโดยดูที่ชุดข้อมูล
- ทำการ ตรวจสอบความถูกต้องแบบกำหนดเอง โดยใช้การกำหนดค่าตาม SQL
คอมโพเนนต์ไปป์ไลน์ ExampleValidator ระบุความผิดปกติใดๆ ในข้อมูลตัวอย่างโดยการเปรียบเทียบสถิติข้อมูลที่คำนวณโดยคอมโพเนนต์ไปป์ไลน์ StatisticsGen กับสคีมา สคีมาที่อนุมานจะประมวลคุณสมบัติที่คาดว่าข้อมูลอินพุตจะตอบสนอง และสามารถแก้ไขได้โดยนักพัฒนา
- ใช้: สคีมาจากคอมโพเนนต์ SchemaGen และสถิติจากคอมโพเนนต์ StatisticsGen
- ปล่อย: ผลการตรวจสอบ
การตรวจสอบความถูกต้องของข้อมูล ExampleValidator และ TensorFlow
ExampleValidator ใช้ TensorFlow Data Validation อย่างกว้างขวางในการตรวจสอบข้อมูลที่คุณป้อน
การใช้ส่วนประกอบ ExampleValidator
คอมโพเนนต์ไปป์ไลน์ ExampleValidator มักจะปรับใช้ได้ง่ายมากและต้องการการปรับแต่งเพียงเล็กน้อย รหัสทั่วไปมีลักษณะดังนี้:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
มีรายละเอียดเพิ่มเติมในการ อ้างอิง ExampleValidator API