ส่วนประกอบไปป์ไลน์ ExampleValidator ระบุความผิดปกติในข้อมูลการฝึกและการให้บริการ สามารถตรวจจับความผิดปกติประเภทต่างๆ ในข้อมูลได้ ตัวอย่างเช่น มันสามารถ:
- ดำเนินการตรวจสอบความถูกต้องโดยการเปรียบเทียบสถิติข้อมูลกับสคีมาที่ประมวลผลความคาดหวังของผู้ใช้
- ตรวจจับการบิดเบือนการให้บริการการฝึกอบรมโดยการเปรียบเทียบข้อมูลการฝึกอบรมและการให้บริการ
- ตรวจจับการเบี่ยงเบนของข้อมูลโดยดูจากชุดข้อมูล
- ดำเนิน การตรวจสอบแบบกำหนดเอง โดยใช้การกำหนดค่าแบบ SQL
ส่วนประกอบไปป์ไลน์ ExampleValidator ระบุความผิดปกติใดๆ ในข้อมูลตัวอย่างโดยการเปรียบเทียบสถิติข้อมูลที่คำนวณโดยส่วนประกอบไปป์ไลน์ StatisticsGen กับสคีมา สคีมาที่อนุมานจะเข้ารหัสคุณสมบัติที่ข้อมูลอินพุตคาดว่าจะเป็นไปตามนั้น และนักพัฒนาสามารถแก้ไขได้
- ใช้: สคีมาจากองค์ประกอบ SchemaGen และสถิติจากองค์ประกอบ StatisticsGen
- ปล่อย: ผลการตรวจสอบ
ExampleValidator และการตรวจสอบข้อมูล TensorFlow
ExampleValidator ใช้ TensorFlow Data Validation อย่างกว้างขวางเพื่อตรวจสอบข้อมูลอินพุตของคุณ
การใช้ส่วนประกอบ ExampleValidator
โดยทั่วไปส่วนประกอบไปป์ไลน์ ExampleValidator นั้นง่ายต่อการปรับใช้และต้องการการปรับแต่งเพียงเล็กน้อย รหัสทั่วไปมีลักษณะดังนี้:
validate_stats = ExampleValidator(
statistics=statistics_gen.outputs['statistics'],
schema=schema_gen.outputs['schema']
)
มีรายละเอียดเพิ่มเติมใน การอ้างอิง ExampleValidator API