What-If Tool (WIT) menyediakan antarmuka yang mudah digunakan untuk memperluas pemahaman tentang klasifikasi kotak hitam dan model ML regresi. Dengan plugin, Anda dapat melakukan inferensi pada sejumlah besar contoh dan langsung memvisualisasikan hasilnya dalam berbagai cara. Selain itu, contoh dapat diedit secara manual atau terprogram dan dijalankan kembali melalui model untuk melihat hasil perubahan. Ini berisi alat untuk menyelidiki kinerja model dan keadilan atas himpunan bagian dari kumpulan data.
Tujuan alat ini adalah memberi orang cara yang sederhana, intuitif, dan andal untuk menjelajahi dan menyelidiki model ML terlatih melalui antarmuka visual tanpa memerlukan kode sama sekali.
Alat ini dapat diakses melalui TensorBoard atau langsung di notebook Jupyter atau Colab. Untuk detail lebih mendalam, demo, langkah-langkah, dan informasi khusus untuk menggunakan WIT dalam mode notebook, lihat situs web What-If Tool .
Persyaratan
Untuk menggunakan WIT di TensorBoard, diperlukan dua hal:
- Model yang ingin Anda jelajahi harus disajikan menggunakan TensorFlow Serving menggunakan classify, regress, atau predict API.
- Kumpulan data yang akan disimpulkan oleh model harus dalam file TFRecord yang dapat diakses oleh server web TensorBoard.
Penggunaan
Saat membuka dasbor What-If Tool di TensorBoard, Anda akan melihat layar penyiapan tempat Anda menyediakan host dan port server model, nama model yang dilayani, jenis model, dan jalur ke file TFRecords ke memuat. Setelah mengisi informasi ini dan mengklik "Terima", WIT akan memuat kumpulan data dan menjalankan inferensi dengan model, menampilkan hasilnya.
Untuk perincian tentang berbagai fitur WIT dan bagaimana mereka dapat membantu pemahaman model dan penyelidikan keadilan, lihat langkah-langkah di situs web What-If Tool .
Model demo dan kumpulan data
Jika Anda ingin menguji WIT di TensorBoard dengan model terlatih, Anda dapat mendownload dan meng-unzip model dan kumpulan data terlatih dari https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip Model ini adalah model klasifikasi biner yang menggunakan kumpulan data Sensus UCI untuk memprediksi apakah seseorang berpenghasilan lebih dari $50 ribu per tahun. Kumpulan data dan tugas prediksi ini sering digunakan dalam pemodelan pembelajaran mesin dan penelitian keadilan.
Setel variabel lingkungan MODEL_PATH ke lokasi direktori model yang dihasilkan di mesin Anda.
Instal docker dan TensorFlow Serving mengikuti dokumentasi resmi .
Sajikan model menggunakan docker melalui docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving Catatan Anda mungkin perlu menjalankan perintah dengan sudo tergantung pada pengaturan docker Anda.
Sekarang luncurkan tensorboard dan gunakan drop-down dasbor untuk menavigasi ke What-If Tool.
Pada layar penyetelan, setel alamat inferensi ke "localhost:8500", nama model menjadi "uci_income" dan jalur ke contoh ke jalur lengkap ke file adult.tfrecord yang diunduh, lalu tekan "Terima".
Beberapa hal untuk dicoba dengan Alat Bagaimana-Jika pada demo ini meliputi:
- Mengedit satu titik data dan melihat perubahan inferensi yang dihasilkan.
- Menjelajahi hubungan antara fitur individu dalam dataset dan hasil inferensi model melalui plot ketergantungan parsial.
- Mengiris dataset menjadi subset dan membandingkan kinerja antar irisan.
Untuk melihat lebih dalam tentang fitur alat, lihat panduan What-If Tool .
Perhatikan bahwa fitur kebenaran dasar dalam kumpulan data yang coba diprediksi oleh model ini diberi nama "Target", jadi saat menggunakan tab "Performa & Kewajaran", "Target" adalah yang ingin Anda tentukan dalam tarik-turun fitur kebenaran dasar.