ส่วนประกอบไปป์ไลน์ ExampleValidator TFX

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

คอมโพเนนต์ไปป์ไลน์ ExampleValidator ระบุความผิดปกติในการฝึกอบรมและการแสดงข้อมูล สามารถตรวจจับความผิดปกติประเภทต่างๆ ในข้อมูลได้ ตัวอย่างเช่น สามารถ:

  1. ทำการตรวจสอบความถูกต้องโดยเปรียบเทียบสถิติข้อมูลกับสคีมาที่ประมวลความคาดหวังของผู้ใช้
  2. ตรวจจับการเอียงของการฝึกโดยการเปรียบเทียบข้อมูลการฝึกและการเสิร์ฟ
  3. ตรวจจับการเลื่อนไหลของข้อมูลโดยดูที่ชุดข้อมูล
  4. ทำการ ตรวจสอบความถูกต้องแบบกำหนดเอง โดยใช้การกำหนดค่าตาม SQL

คอมโพเนนต์ไปป์ไลน์ ExampleValidator ระบุความผิดปกติใดๆ ในข้อมูลตัวอย่างโดยการเปรียบเทียบสถิติข้อมูลที่คำนวณโดยคอมโพเนนต์ไปป์ไลน์ StatisticsGen กับสคีมา สคีมาที่อนุมานจะประมวลคุณสมบัติที่คาดว่าข้อมูลอินพุตจะตอบสนอง และสามารถแก้ไขได้โดยนักพัฒนา

  • ใช้: สคีมาจากคอมโพเนนต์ SchemaGen และสถิติจากคอมโพเนนต์ StatisticsGen
  • ปล่อย: ผลการตรวจสอบ

การตรวจสอบความถูกต้องของข้อมูล ExampleValidator และ TensorFlow

ExampleValidator ใช้ TensorFlow Data Validation อย่างกว้างขวางในการตรวจสอบข้อมูลที่คุณป้อน

การใช้ส่วนประกอบ ExampleValidator

คอมโพเนนต์ไปป์ไลน์ ExampleValidator มักจะปรับใช้ได้ง่ายมากและต้องการการปรับแต่งเพียงเล็กน้อย รหัสทั่วไปมีลักษณะดังนี้:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

มีรายละเอียดเพิ่มเติมในการ อ้างอิง ExampleValidator API