คำถามเกี่ยวกับ TFX? เข้าร่วมกับเราที่ Google I / O!

ExampleValidator TFX ไปป์ไลน์คอมโพเนนต์

ส่วนประกอบไปป์ไลน์ ExampleValidator ระบุความผิดปกติในการฝึกอบรมและการให้บริการข้อมูล สามารถตรวจจับความผิดปกติของคลาสต่างๆในข้อมูลได้ ตัวอย่างเช่นสามารถ:

  1. ดำเนินการตรวจสอบความถูกต้องโดยการเปรียบเทียบสถิติข้อมูลกับสคีมาที่เข้ารหัสความคาดหวังของผู้ใช้
  2. ตรวจจับการเอียงที่ให้บริการการฝึกอบรมโดยเปรียบเทียบข้อมูลการฝึกอบรมและการให้บริการ
  3. ตรวจจับข้อมูลโดยดูจากชุดข้อมูล

คอมโพเนนต์ไปป์ไลน์ ExampleValidator ระบุความผิดปกติใด ๆ ในข้อมูลตัวอย่างโดยการเปรียบเทียบสถิติข้อมูลที่คำนวณโดยคอมโพเนนต์ไปป์ไลน์ของ StatisticsGen กับสคีมา สคีมาที่สรุปได้เข้ารหัสคุณสมบัติที่คาดว่าข้อมูลอินพุตจะตอบสนองและสามารถแก้ไขได้โดยนักพัฒนา

  • ใช้: สคีมาจากคอมโพเนนต์ SchemaGen และสถิติจากคอมโพเนนต์ StatisticsGen
  • Emits: ผลการตรวจสอบ

ExampleValidator และ TensorFlow Data Validation

ExampleValidator ใช้ประโยชน์จาก การ ตรวจสอบความถูกต้องของ ข้อมูล TensorFlow เพื่อตรวจสอบความถูกต้องของข้อมูลอินพุตของคุณ

การใช้ส่วนประกอบ ExampleValidator

โดยทั่วไปแล้วส่วนประกอบไปป์ไลน์ ExampleValidator นั้นง่ายมากในการปรับใช้และต้องการการปรับแต่งเพียงเล็กน้อย รหัสทั่วไปมีลักษณะดังนี้:

from tfx import components

...

validate_stats = components.ExampleValidator(
      statistics=compute_eval_stats.outputs['statistics'],
      schema=infer_schema.outputs['schema']
      )