Alat Bagaimana-Jika (WIT) menyediakan antarmuka yang mudah digunakan untuk memperluas pemahaman tentang klasifikasi kotak hitam dan model ML regresi. Dengan plugin ini, Anda dapat melakukan inferensi pada sejumlah besar contoh dan segera memvisualisasikan hasilnya dalam berbagai cara. Selain itu, contoh dapat diedit secara manual atau terprogram dan dijalankan kembali melalui model untuk melihat hasil perubahannya. Ini berisi alat untuk menyelidiki kinerja model dan keadilan pada subkumpulan kumpulan data.
Tujuan dari alat ini adalah untuk memberi orang cara yang sederhana, intuitif, dan canggih untuk menjelajahi dan menyelidiki model ML terlatih melalui antarmuka visual tanpa memerlukan kode sama sekali.
Alat ini dapat diakses melalui TensorBoard atau langsung di notebook Jupyter atau Colab. Untuk detail lebih mendalam, demo, penelusuran, dan informasi khusus tentang penggunaan WIT dalam mode buku catatan, lihat situs web Alat Bagaimana-Jika .
Persyaratan
Untuk menggunakan WIT di TensorBoard, diperlukan dua hal:
- Model yang ingin Anda jelajahi harus disajikan menggunakan TensorFlow Serving menggunakan API klasifikasi, regresi, atau prediksi.
- Himpunan data yang ingin disimpulkan oleh model harus berada dalam file TFRecord yang dapat diakses oleh server web TensorBoard.
Penggunaan
Saat membuka dasbor Alat Bagaimana-Jika di TensorBoard, Anda akan melihat layar pengaturan tempat Anda menyediakan host dan port server model, nama model yang dilayani, jenis model, dan jalur ke file TFRecords ke memuat. Setelah mengisi informasi ini dan mengklik "Terima", WIT akan memuat kumpulan data dan menjalankan inferensi dengan model, serta menampilkan hasilnya.
Untuk detail tentang berbagai fitur WIT dan bagaimana fitur tersebut dapat membantu pemahaman model dan investigasi keadilan, lihat panduannya di situs web Alat Bagaimana-Jika .
Model demo dan kumpulan data
Jika Anda ingin menguji WIT di TensorBoard dengan model terlatih, Anda dapat mendownload dan mengekstrak model dan kumpulan data terlatih dari https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip Model ini adalah model klasifikasi biner yang menggunakan kumpulan data Sensus UCI untuk memprediksi apakah seseorang berpenghasilan lebih dari $50ka per tahun. Tugas kumpulan data dan prediksi ini sering digunakan dalam pemodelan pembelajaran mesin dan penelitian keadilan.
Atur variabel lingkungan MODEL_PATH ke lokasi direktori model yang dihasilkan pada mesin Anda.
Instal buruh pelabuhan dan TensorFlow Melayani mengikuti dokumentasi resmi .
Sajikan model menggunakan buruh pelabuhan melalui docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Catatan Anda mungkin perlu menjalankan perintah dengan sudo tergantung pada pengaturan buruh pelabuhan Anda.
Sekarang luncurkan tensorboard dan gunakan drop-down dasbor untuk menavigasi ke Alat Bagaimana-Jika.
Pada layar pengaturan, atur alamat inferensi ke "localhost:8500", nama model ke "uci_income" dan jalur ke contoh ke jalur lengkap ke file adult.tfrecord yang diunduh, lalu tekan "Terima".
Beberapa hal yang dapat dicoba dengan Alat Bagaimana-Jika pada demo ini meliputi:
- Mengedit satu titik data dan melihat perubahan inferensi yang dihasilkan.
- Menjelajahi hubungan antara fitur individu dalam kumpulan data dan hasil inferensi model melalui plot ketergantungan parsial.
- Membagi kumpulan data menjadi beberapa subkumpulan dan membandingkan kinerja antar irisan.
Untuk melihat secara mendalam fitur-fitur alat, lihat panduan Alat Bagaimana-Jika .
Perhatikan bahwa fitur kebenaran dasar dalam kumpulan data yang coba diprediksi oleh model ini diberi nama "Target", jadi saat menggunakan tab "Kinerja & Kewajaran", "Target" adalah apa yang ingin Anda tentukan di tarik-turun fitur kebenaran dasar.