Narzędzie What-If Tool (WIT) zapewnia łatwy w użyciu interfejs, który pozwala lepiej zrozumieć klasyfikację czarnej skrzynki i modele regresji ML. Dzięki wtyczce możesz przeprowadzać wnioskowanie na dużym zestawie przykładów i natychmiast wizualizować wyniki na różne sposoby. Dodatkowo przykłady można edytować ręcznie lub programowo i ponownie uruchomić w modelu, aby zobaczyć wyniki zmian. Zawiera narzędzia do badania wydajności i rzetelności modelu w podzbiorach zbioru danych.
Celem tego narzędzia jest zapewnienie ludziom prostego, intuicyjnego i wydajnego sposobu eksplorowania i badania wyszkolonych modeli ML za pomocą interfejsu wizualnego, który nie wymaga żadnego kodu.
Dostęp do narzędzia można uzyskać za pośrednictwem TensorBoard lub bezpośrednio w notatniku Jupyter lub Colab. Aby uzyskać bardziej szczegółowe informacje, prezentacje, instrukcje i informacje dotyczące korzystania z funkcji WIT w trybie notebooka, odwiedź witrynę internetową narzędzia What-If Tool .
Wymagania
Aby korzystać z WIT w TensorBoard, potrzebne są dwie rzeczy:
- Modele, które chcesz eksplorować, muszą być obsługiwane przy użyciu udostępniania TensorFlow przy użyciu interfejsu API klasyfikowania, regresji lub przewidywania.
- Zestaw danych, który ma być wywnioskowany przez modele, musi znajdować się w pliku TFRecord dostępnym dla serwera WWW TensorBoard.
Stosowanie
Po otwarciu pulpitu nawigacyjnego What-If Tool w TensorBoard zobaczysz ekran konfiguracji, na którym podajesz hosta i port serwera modelu, nazwę obsługiwanego modelu, typ modelu i ścieżkę do pliku TFRecords do obciążenie. Po wypełnieniu tych informacji i kliknięciu „Akceptuj”, WIT załaduje zestaw danych i uruchomi wnioskowanie z modelem, wyświetlając wyniki.
Aby uzyskać szczegółowe informacje na temat różnych funkcji WIT oraz tego, w jaki sposób mogą one pomóc w zrozumieniu modelu i badaniu rzetelności, zapoznaj się z przewodnikiem w witrynie internetowej narzędzia What-If Tool .
Model demonstracyjny i zestaw danych
Jeśli chcesz przetestować WIT w TensorBoard za pomocą wstępnie wytrenowanego modelu, możesz pobrać i rozpakować wstępnie wytrenowany model i zestaw danych ze strony https://storage.googleapis.com/what-if-tool-resources/uci-census -demo/uci-census-demo.zip Model jest binarnym modelem klasyfikacji, który wykorzystuje zestaw danych UCI Census do przewidywania, czy dana osoba zarabia więcej niż 50 000 USD rocznie. Ten zestaw danych i zadanie przewidywania są często używane w modelowaniu uczenia maszynowego i badaniach rzetelności.
Ustaw zmienną środowiskową MODEL_PATH na lokalizację wynikowego katalogu modelu na swoim komputerze.
Zainstaluj Dockera i TensorFlow Serving zgodnie z oficjalną dokumentacją .
Obsługuj model za pomocą dokera przez docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving Pamiętaj, że może być konieczne uruchomienie polecenia z sudo w zależności od konfiguracji dokera.
Teraz uruchom tensorboard i użyj menu rozwijanego pulpitu nawigacyjnego, aby przejść do narzędzia What-If.
Na ekranie ustawień ustaw adres wnioskowania na „localhost:8500”, nazwę modelu na „uci_income” i ścieżkę do przykładów na pełną ścieżkę do pobranego pliku adult.tfrecord , a następnie naciśnij „Akceptuj”.
Niektóre rzeczy do wypróbowania za pomocą narzędzia What-If w tej wersji demonstracyjnej obejmują:
- Edytowanie pojedynczego punktu danych i obserwowanie wynikającej z tego zmiany we wnioskowaniu.
- Badanie relacji między poszczególnymi cechami w zbiorze danych a wynikami wnioskowania modelu za pomocą częściowych wykresów zależności.
- Dzielenie zestawu danych na podzbiory i porównywanie wydajności między plasterkami.
Aby uzyskać szczegółowe informacje na temat funkcji narzędzia, zapoznaj się z instrukcją obsługi narzędzia What-If .
Zwróć uwagę, że funkcja prawdy podstawowej w zbiorze danych, którą ten model próbuje przewidzieć, nosi nazwę „Cel”, więc podczas korzystania z karty „Wydajność i uczciwość” „Cel” jest tym, co chcesz określić w menu rozwijanym funkcji prawdy podstawowej.