What-If Tool (WIT) มอบอินเทอร์เฟซที่ใช้งานง่ายสำหรับขยายความเข้าใจเกี่ยวกับการจัดประเภทกล่องดำและแบบจำลอง ML การถดถอย ด้วยปลั๊กอิน คุณสามารถทำการอนุมานกับชุดตัวอย่างจำนวนมาก และแสดงภาพผลลัพธ์ได้ทันทีด้วยวิธีที่หลากหลาย นอกจากนี้ คุณสามารถแก้ไขตัวอย่างได้ด้วยตนเองหรือโดยทางโปรแกรม และเรียกใช้ซ้ำผ่านโมเดลเพื่อดูผลลัพธ์ของการเปลี่ยนแปลง ประกอบด้วยเครื่องมือสำหรับตรวจสอบประสิทธิภาพของโมเดลและความเป็นธรรมเหนือชุดย่อยของชุดข้อมูล
วัตถุประสงค์ของเครื่องมือนี้คือเพื่อให้ผู้คนมีวิธีที่ง่าย ใช้งานง่าย และมีประสิทธิภาพในการสำรวจและตรวจสอบโมเดล ML ที่ได้รับการฝึกอบรมผ่านอินเทอร์เฟซแบบภาพโดยไม่ต้องใช้โค้ดเลย
เครื่องมือนี้เข้าถึงได้ผ่าน TensorBoard หรือโดยตรงในสมุดบันทึก Jupyter หรือ Colab สำหรับรายละเอียดเชิงลึก การสาธิต บทสรุป และข้อมูลเฉพาะเกี่ยวกับการใช้ WIT ในโหมดโน้ตบุ๊ก โปรดดูที่ เว็บไซต์ What-If Tool
ความต้องการ
หากต้องการใช้ WIT ใน TensorBoard จำเป็นต้องมีสองสิ่ง:
- โมเดลที่คุณต้องการสำรวจจะต้องให้บริการโดยใช้ TensorFlow Serving โดยใช้ Classify, Regress หรือ Predict API
- ชุดข้อมูลที่โมเดลอนุมานต้องอยู่ในไฟล์ TFRecord ที่เว็บเซิร์ฟเวอร์ TensorBoard เข้าถึงได้
การใช้งาน
เมื่อเปิดแดชบอร์ด What-If Tool ใน TensorBoard คุณจะเห็นหน้าจอการตั้งค่าที่คุณระบุโฮสต์และพอร์ตของเซิร์ฟเวอร์โมเดล ชื่อของโมเดลที่ให้บริการ ประเภทของโมเดล และเส้นทางไปยังไฟล์ TFRecords โหลด หลังจากกรอกข้อมูลนี้แล้วคลิก "ยอมรับ" WIT จะโหลดชุดข้อมูลและดำเนินการอนุมานกับโมเดลเพื่อแสดงผลลัพธ์
สำหรับรายละเอียดเกี่ยวกับคุณสมบัติต่างๆ ของ WIT และวิธีที่คุณสมบัติเหล่านี้สามารถช่วยในการทำความเข้าใจแบบจำลองและการสอบสวนความเป็นธรรม โปรดดูคำแนะนำบน เว็บไซต์ What-If Tool
โมเดลสาธิตและชุดข้อมูล
หากคุณต้องการทดสอบ WIT ใน TensorBoard ด้วยโมเดลที่ผ่านการฝึกอบรมมาแล้ว คุณสามารถดาวน์โหลดและแตกไฟล์โมเดลและชุดข้อมูลที่ผ่านการฝึกอบรมมาแล้วได้จาก https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip โมเดลนี้เป็นโมเดลการจำแนกประเภทไบนารี่ที่ใช้ชุดข้อมูล UCI Census เพื่อคาดการณ์ว่าบุคคลหนึ่งๆ จะมีรายได้มากกว่า 50,000 ดอลลาร์ต่อปีหรือไม่ งานชุดข้อมูลและการทำนายนี้มักใช้ในการสร้างแบบจำลองแมชชีนเลิร์นนิงและการวิจัยเพื่อความเป็นธรรม
ตั้งค่าตัวแปรสภาพแวดล้อม MODEL_PATH เป็นตำแหน่งของไดเร็กทอรีโมเดลผลลัพธ์บนเครื่องของคุณ
ติดตั้ง docker และ TensorFlow Serving ตาม เอกสารอย่างเป็นทางการ
ให้บริการโมเดลโดยใช้นักเทียบท่าผ่าน docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving โปรดทราบว่าคุณอาจต้องเรียกใช้คำสั่งด้วย sudo ทั้งนี้ขึ้นอยู่กับการตั้งค่านักเทียบท่าของคุณ
ตอนนี้เปิดเทนเซอร์บอร์ดแล้วใช้เมนูแบบเลื่อนลงแดชบอร์ดเพื่อไปยังเครื่องมือ What-If
ในหน้าจอการตั้งค่า ให้ตั้งค่าที่อยู่การอนุมานเป็น "localhost:8500" ชื่อรุ่นเป็น "uci_income" และเส้นทางไปยังตัวอย่างไปยังเส้นทางแบบเต็มไปยังไฟล์ adult.tfrecord ที่ดาวน์โหลด จากนั้นกด "ยอมรับ"
สิ่งที่ควรลองใช้กับ What-If Tool ในการสาธิตนี้ ได้แก่:
- การแก้ไขจุดข้อมูลเดียวและดูผลลัพธ์การเปลี่ยนแปลงในการอนุมาน
- การสำรวจความสัมพันธ์ระหว่างคุณลักษณะแต่ละรายการในชุดข้อมูลและผลลัพธ์การอนุมานของโมเดลผ่านแผนการพึ่งพาบางส่วน
- การแบ่งชุดข้อมูลออกเป็นชุดย่อยและเปรียบเทียบประสิทธิภาพระหว่างส่วนต่างๆ
หากต้องการดูคุณลักษณะของเครื่องมือแบบเจาะลึก โปรดดู คำแนะนำแบบ What-If Tool
โปรดทราบว่าคุณลักษณะความจริงภาคพื้นดินในชุดข้อมูลที่โมเดลนี้พยายามคาดการณ์มีชื่อว่า "เป้าหมาย" ดังนั้นเมื่อใช้แท็บ "ประสิทธิภาพและความเป็นธรรม" "เป้าหมาย" คือสิ่งที่คุณต้องการระบุในรายการแบบเลื่อนลงของคุณลักษณะความจริงภาคพื้นดิน