Narzędzie What-If (WIT) zapewnia łatwy w użyciu interfejs umożliwiający lepsze zrozumienie modeli ML klasyfikacji czarnej skrzynki i regresji. Dzięki wtyczce możesz wnioskować na dużym zestawie przykładów i natychmiast wizualizować wyniki na różne sposoby. Dodatkowo przykłady można edytować ręcznie lub programowo i ponownie przeglądać model, aby zobaczyć wyniki zmian. Zawiera narzędzia do badania wydajności i rzetelności modelu w podzbiorach zbioru danych.
Celem tego narzędzia jest zapewnienie użytkownikom prostego, intuicyjnego i wydajnego sposobu eksplorowania i badania wyszkolonych modeli uczenia maszynowego za pomocą interfejsu wizualnego, bez konieczności stosowania kodu.
Dostęp do narzędzia można uzyskać poprzez TensorBoard lub bezpośrednio w notatniku Jupyter lub Colab. Więcej szczegółowych informacji, demonstracji, instruktaży i informacji dotyczących używania WIT w trybie notebooka można znaleźć w witrynie internetowej narzędzia What-If Tool .
Wymagania
Aby korzystać z WIT w TensorBoard potrzebne są dwie rzeczy:
- Modele, które chcesz eksplorować, muszą być obsługiwane przy użyciu TensorFlow Serving przy użyciu interfejsu API klasyfikacji, regresji lub przewidywania.
- Zbiór danych, który ma zostać wywnioskowany przez modele, musi znajdować się w pliku TFRecord dostępnym na serwerze internetowym TensorBoard.
Stosowanie
Otwierając pulpit nawigacyjny narzędzia What-If w TensorBoard, zobaczysz ekran konfiguracji, na którym podajesz hosta i port serwera modelu, nazwę obsługiwanego modelu, typ modelu i ścieżkę do pliku TFRecords do obciążenie. Po uzupełnieniu tych informacji i kliknięciu „Akceptuj” WIT załaduje zbiór danych i przeprowadzi wnioskowanie z modelu, wyświetlając wyniki.
Szczegółowe informacje na temat różnych funkcji narzędzia WIT oraz tego, w jaki sposób mogą one pomóc w zrozumieniu modelu i badaniach rzetelności, można znaleźć w przewodniku w witrynie internetowej narzędzia What-If Tool .
Model demonstracyjny i zbiór danych
Jeśli chcesz przetestować WIT w TensorBoard ze wstępnie wytrenowanym modelem, możesz pobrać i rozpakować wstępnie wytrenowany model i zestaw danych z https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip Model jest binarnym modelem klasyfikacji, który wykorzystuje zbiór danych UCI Census do przewidywania, czy dana osoba zarabia więcej niż 50 tys. dolarów rocznie. To zadanie związane ze zbiorem danych i przewidywaniem jest często wykorzystywane w modelowaniu uczenia maszynowego i badaniach uczciwości.
Ustaw zmienną środowiskową MODEL_PATH na lokalizację wynikowego katalogu modelu na komputerze.
Zainstaluj okno dokowane i obsługę TensorFlow, postępując zgodnie z oficjalną dokumentacją .
Udostępnij model za pomocą okna dokowanego przez docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Pamiętaj, że w zależności od konfiguracji okna dokowanego może być konieczne uruchomienie polecenia za pomocą sudo .
Teraz uruchom tensorboard i użyj menu rozwijanego pulpitu nawigacyjnego, aby przejść do narzędzia What-If.
Na ekranie konfiguracji ustaw adres wnioskowania na „localhost:8500”, nazwę modelu na „uci_income”, a ścieżkę do przykładów na pełną ścieżkę do pobranego pliku adult.tfrecord , a następnie naciśnij „Akceptuj”.
Oto kilka rzeczy, które warto wypróbować za pomocą narzędzia What-If w tej wersji demonstracyjnej:
- Edytowanie pojedynczego punktu danych i sprawdzanie wynikającej z tego zmiany we wnioskowaniu.
- Badanie relacji między poszczególnymi cechami w zbiorze danych a wynikami wnioskowania modelu za pomocą częściowych wykresów zależności.
- Dzielenie zbioru danych na podzbiory i porównywanie wydajności pomiędzy wycinkami.
Aby uzyskać szczegółowe informacje na temat funkcji narzędzia, zapoznaj się z instrukcją dotyczącą narzędzia What-If .
Zwróć uwagę, że podstawowa funkcja prawdy w zbiorze danych, którą ten model próbuje przewidzieć, nosi nazwę „Cel”, zatem w przypadku korzystania z karty „Wydajność i rzetelność” wartość „Cel” będzie tym, co będziesz chciał określić w menu rozwijanym funkcji prawdy podstawowej.