ทำความเข้าใจโมเดลด้วยแดชบอร์ดเครื่องมือ What-If

เครื่องมืออะไรถ้า

เครื่องมือ What-If (WIT) มีอินเทอร์เฟซที่ใช้งานง่ายสำหรับขยายความเข้าใจเกี่ยวกับการจัดประเภทกล่องดำและแบบจำลอง ML แบบถดถอย ด้วยปลั๊กอินนี้ คุณสามารถทำการอนุมานชุดตัวอย่างจำนวนมากและแสดงภาพผลลัพธ์ได้ทันทีในหลากหลายวิธี นอกจากนี้ ตัวอย่างสามารถแก้ไขด้วยตนเองหรือโดยทางโปรแกรม และรันซ้ำผ่านโมเดลเพื่อดูผลลัพธ์ของการเปลี่ยนแปลง ประกอบด้วยเครื่องมือสำหรับตรวจสอบประสิทธิภาพของโมเดลและความเป็นธรรมเหนือชุดย่อยของชุดข้อมูล

จุดประสงค์ของเครื่องมือนี้คือเพื่อให้ผู้คนมีวิธีที่ง่าย สะดวก และมีประสิทธิภาพในการสำรวจและตรวจสอบโมเดล ML ที่ผ่านการฝึกอบรมผ่านอินเทอร์เฟซแบบภาพโดยไม่ต้องใช้โค้ดใดๆ

เครื่องมือนี้สามารถเข้าถึงได้ผ่าน TensorBoard หรือโดยตรงในสมุดบันทึก Jupyter หรือ Colab สำหรับรายละเอียดเชิงลึก การสาธิต คำแนะนำ และข้อมูลเฉพาะเกี่ยวกับการใช้ WIT ในโหมดโน้ตบุ๊ก โปรดดูที่ เว็บไซต์ What-If Tool

ความต้องการ

หากต้องการใช้ WIT ใน TensorBoard จำเป็นต้องมีสองสิ่ง:

  • แบบจำลองที่คุณต้องการสำรวจจะต้องให้บริการโดยใช้ TensorFlow Serving โดยใช้ classify, regress หรือ Predict API
  • ชุดข้อมูลที่จะอนุมานโดยโมเดลต้องอยู่ในไฟล์ TFRecord ที่เว็บเซิร์ฟเวอร์ TensorBoard สามารถเข้าถึงได้

การใช้งาน

เมื่อเปิดแดชบอร์ดเครื่องมือ What-If ใน TensorBoard คุณจะเห็นหน้าจอการตั้งค่าที่คุณระบุโฮสต์และพอร์ตของเซิร์ฟเวอร์โมเดล ชื่อของโมเดลที่ให้บริการ ประเภทของโมเดล และพาธไปยังไฟล์ TFRecords โหลด หลังจากกรอกข้อมูลนี้แล้วคลิก "ยอมรับ" WIT จะโหลดชุดข้อมูลและรันการอนุมานด้วยโมเดล แสดงผล

สำหรับรายละเอียดเกี่ยวกับคุณลักษณะต่างๆ ของ WIT และวิธีที่คุณลักษณะเหล่านี้สามารถช่วยในการทำความเข้าใจแบบจำลองและการตรวจสอบความเป็นธรรม โปรดดูคำแนะนำบน เว็บไซต์ What-If Tool

โมเดลสาธิตและชุดข้อมูล

หากคุณต้องการทดสอบ WIT ใน TensorBoard ด้วยโมเดลที่ผ่านการฝึกอบรมมาแล้ว คุณสามารถดาวน์โหลดและแตกไฟล์โมเดลและชุดข้อมูลที่ได้รับการฝึกอบรมล่วงหน้าได้จาก https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip โมเดลนี้เป็นโมเดลการจำแนกประเภทแบบไบนารีที่ใช้ชุดข้อมูล สำมะโนประชากรของ UCI เพื่อทำนายว่าคนๆ หนึ่งมีรายได้มากกว่า $50ka ต่อปีหรือไม่ งานชุดข้อมูลและการคาดคะเนนี้มักใช้ในการสร้างแบบจำลองการเรียนรู้ของเครื่องและการวิจัยความเป็นธรรม

ตั้งค่าตัวแปรสภาพแวดล้อม MODEL_PATH เป็นตำแหน่งของไดเร็กทอรีโมเดลที่เป็นผลลัพธ์ในเครื่องของคุณ

ติดตั้งนักเทียบท่าและ TensorFlow Serving ตาม เอกสารอย่างเป็นทางการ

ให้บริการโมเดลโดยใช้นักเทียบท่าผ่าน docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving โปรดทราบว่าคุณอาจต้องเรียกใช้คำสั่งด้วย sudo ทั้งนี้ขึ้นอยู่กับการตั้งค่านักเทียบท่าของคุณ

ตอนนี้เปิด tensorboard และใช้เมนูแบบเลื่อนลงแดชบอร์ดเพื่อนำทางไปยังเครื่องมือ What-If

ในหน้าจอตั้งค่า ให้ตั้งค่าแอดเดรสการอนุมานเป็น "localhost:8500" ชื่อรุ่นเป็น "uci_income" และพาธไปยังตัวอย่างไปยังพาธเต็มไปยังไฟล์ adult.tfrecord ที่ดาวน์โหลด จากนั้นกด "Accept"

หน้าจอตั้งค่าสำหรับการสาธิต

สิ่งที่ควรลองใช้กับเครื่องมือ What-If ในการสาธิตนี้ได้แก่:

  • การแก้ไขจุดข้อมูลเดียวและดูผลการเปลี่ยนแปลงในการอนุมาน
  • การสำรวจความสัมพันธ์ระหว่างคุณสมบัติแต่ละอย่างในชุดข้อมูลและผลการอนุมานของแบบจำลองผ่านแผนภาพการพึ่งพาบางส่วน
  • การแบ่งชุดข้อมูลออกเป็นส่วนย่อยและเปรียบเทียบประสิทธิภาพระหว่างส่วนย่อยๆ

หากต้องการข้อมูลเชิงลึกเกี่ยวกับคุณลักษณะของเครื่องมือ โปรดดู คำแนะนำแบบ What-If Tool

โปรดทราบว่าคุณสมบัติความจริงพื้นฐานในชุดข้อมูลที่โมเดลนี้พยายามทำนายนั้นมีชื่อว่า "เป้าหมาย" ดังนั้นเมื่อใช้แท็บ "ประสิทธิภาพและความเป็นธรรม" "เป้าหมาย" คือสิ่งที่คุณต้องการระบุในรายการแบบหล่นลงของคุณสมบัติความจริงพื้นฐาน