Narzędzie What-If (WIT) zapewnia łatwy w użyciu interfejs do poszerzania wiedzy na temat klasyfikacji czarnoskrzynkowych i modeli regresji ML. Dzięki wtyczce możesz przeprowadzać wnioskowanie na dużym zestawie przykładów i natychmiast wizualizować wyniki na różne sposoby. Ponadto przykłady można edytować ręcznie lub programowo i ponownie przeglądać model, aby zobaczyć wyniki zmian. Zawiera narzędzia do badania wydajności i uczciwości modelu w podzbiorach zbioru danych.
Celem tego narzędzia jest zapewnienie ludziom prostego, intuicyjnego i wydajnego sposobu eksplorowania i badania wyszkolonych modeli ML za pomocą interfejsu wizualnego bez żadnego kodu.
Dostęp do narzędzia można uzyskać poprzez TensorBoard lub bezpośrednio w notatniku Jupyter lub Colab. Więcej szczegółowych informacji, demonstracji, instrukcji i informacji dotyczących korzystania z WIT w trybie notatnika można znaleźć w witrynie internetowej narzędzia What-If .
Wymagania
Aby korzystać z WIT w TensorBoard, potrzebne są dwie rzeczy:
- Model (y), które chcesz zbadać, muszą być obsługiwane za pomocą usługi TensorFlow Serving przy użyciu funkcji API klasyfikowania, regresji lub przewidywania.
- Zbiór danych, który ma być wywnioskowany przez modele, musi znajdować się w pliku TFRecord dostępnym dla serwera internetowego TensorBoard.
Stosowanie
Po otwarciu pulpitu nawigacyjnego narzędzia What-If w TensorBoard zobaczysz ekran konfiguracji, na którym podajesz hosta i port serwera modelu, nazwę obsługiwanego modelu, typ modelu i ścieżkę do pliku TFRecords do Załaduj. Po wypełnieniu tych informacji i kliknięciu „Akceptuj”, WIT załaduje zbiór danych i przeprowadzi wnioskowanie z modelem, wyświetlając wyniki.
Szczegółowe informacje na temat różnych funkcji WIT oraz tego, w jaki sposób mogą pomóc w zrozumieniu modelu i badaniu uczciwości, można znaleźć w przewodniku w witrynie What-If Tool .
Model demonstracyjny i zbiór danych
Jeśli chcesz przetestować WIT w TensorBoard za pomocą wstępnie wytrenowanego modelu, możesz pobrać i rozpakować wstępnie wytrenowany model i zestaw danych ze strony https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip Model jest binarnym modelem klasyfikacyjnym, który wykorzystuje zbiór danych UCI Census do przewidywania, czy dana osoba zarabia więcej niż 50 000 USD rocznie. Ten zbiór danych i zadanie przewidywania są często używane w modelowaniu uczenia maszynowego i badaniach nad uczciwością.
Ustaw zmienną środowiskową MODEL_PATH na lokalizację wynikowego katalogu modelu na komputerze.
Zainstaluj docker i TensorFlow Serving zgodnie z oficjalną dokumentacją .
Obsługuj model za pomocą dockera poprzez docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Pamiętaj, że może być konieczne uruchomienie polecenia z sudo zależności od konfiguracji dockera.
Teraz uruchom tensorboard i użyj menu rozwijanego dashboard, aby przejść do narzędzia What-If.
Na ekranie konfiguracji ustaw adres wnioskowania na „localhost: 8500”, nazwę modelu na „uci_income” i ścieżkę do przykładów do pełnej ścieżki do adult.tfrecord pliku adult.tfrecord , a następnie naciśnij „Akceptuj”.
Niektóre rzeczy do wypróbowania za pomocą narzędzia Co jeśli w tej wersji demonstracyjnej obejmują:
- Edycja pojedynczego punktu danych i obserwacja wynikającej z tego zmiany wnioskowania.
- Badanie związku między indywidualnymi cechami w zbiorze danych a wnioskiem modelu prowadzi do częściowych wykresów zależności.
- Dzielenie zestawu danych na podzbiory i porównywanie wydajności między wycinkami.
Aby uzyskać szczegółowe informacje na temat funkcji narzędzia, zapoznaj się z przewodnikiem po narzędziu Co jeśli .
Zwróć uwagę, że funkcja rzeczywistej wartości w zbiorze danych, którą ten model próbuje przewidzieć, nosi nazwę „Cel”, więc podczas korzystania z zakładki „Wydajność i uczciwość”, należy określić opcję „Cel” w menu rozwijanym funkcji pomiaru podstawowego.