Narzędzie What-If (WIT) zapewnia łatwy w użyciu interfejs do lepszego zrozumienia modeli klasyfikacji czarnoskrzynkowej i regresji ML. Dzięki wtyczce możesz wnioskować na dużym zestawie przykładów i natychmiast wizualizować wyniki na różne sposoby. Ponadto przykłady można edytować ręcznie lub programowo i ponownie przeglądać model, aby zobaczyć wyniki zmian. Zawiera narzędzia do badania wydajności i uczciwości modelu w podzbiorach zestawu danych.
Celem tego narzędzia jest zapewnienie ludziom prostego, intuicyjnego i wydajnego sposobu eksplorowania i badania wyszkolonych modeli ML za pomocą wizualnego interfejsu bez żadnego kodu.
Dostęp do narzędzia można uzyskać za pośrednictwem TensorBoard lub bezpośrednio w notatniku Jupyter lub Colab. Na bardziej szczegółowe dane, dema, solucje, a informacje specyficzne dla użyciu WIT w trybie notebooka, zobacz stronę internetową Co-Jeśli narzędzie .
Wymagania
Aby korzystać z WIT w TensorBoard, potrzebne są dwie rzeczy:
- Modelu (y) chcesz zbadać muszą być podawane za pomocą TensorFlow Służąc pomocą klasyfikowania, regresu, czy przewidują API.
- Zestaw danych, który ma być wywnioskowany przez modele, musi znajdować się w pliku TFRecord dostępnym przez serwer sieciowy TensorBoard.
Stosowanie
Po otwarciu pulpitu nawigacyjnego What-If Tool w TensorBoard, zobaczysz ekran konfiguracji, na którym podasz hosta i port serwera modelu, nazwę obsługiwanego modelu, typ modelu i ścieżkę do pliku TFRecords do Załaduj. Po wypełnieniu tych informacji i kliknięciu „Akceptuj”, WIT załaduje zbiór danych i przeprowadzi wnioskowanie z modelem, wyświetlając wyniki.
Szczegółowe informacje na temat poszczególnych cech dowcip i jak mogą pomóc w zrozumieniu i modelu dochodzenia sprawiedliwości, zobacz instruktażu na co-jeśli narzędzie stronie .
Model demonstracyjny i zbiór danych
Jeśli chcesz przetestować WIT w TensorBoard ze wstępnie przeszkoleni modelu, można pobrać i rozpakować wcześniej przeszkoleni model i zestaw danych z https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip Model jest binarnym modelu klasyfikacji, który korzysta z UCI Census zestawu danych przewidzieć, czy dana osoba zarabia ponad $ 50kA roku. Ten zestaw danych i zadanie przewidywania są często używane w modelowaniu uczenia maszynowego i badaniach uczciwości.
Ustaw zmienną środowiskową MODEL_PATH na lokalizację wynikowego katalogu modelu na twoim komputerze.
Zainstalować doker i TensorFlow Serving po oficjalnej dokumentacji .
Podawać model używając docker przez docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Uwaga może trzeba uruchomić polecenie z sudo w zależności od konfiguracji Döcker.
Teraz uruchom tablicę tensorboard i użyj rozwijanego pulpitu, aby przejść do narzędzia What-If.
Na ekranie konfiguracji ustaw adddress wnioskowania na „localhost: 8500”, nazwa modelu do „uci_income” i droga do przykładów z pełną ścieżką do pobranego adult.tfrecord plik, a następnie naciśnij przycisk „Akceptuj”.
Oto kilka rzeczy, które można wypróbować za pomocą narzędzia What-If w tym demo:
- Edytowanie pojedynczego punktu danych i obserwowanie wynikającej z tego zmiany w wnioskowaniu.
- Badanie relacji między poszczególnymi cechami w zbiorze danych a wynikami wnioskowania modelu za pomocą wykresów częściowych zależności.
- Dzielenie zestawu danych na podzbiory i porównywanie wydajności między wycinkami.
Dla dogłębnie w narzędziu funkcji, sprawdź co jeśli narzędzie instruktażu .
Zwróć uwagę, że funkcja prawdy podstawowej w zestawie danych, którą ten model próbuje przewidzieć, nosi nazwę „Cel”, więc podczas korzystania z karty „Wydajność i uczciwość” w menu rozwijanym funkcji prawdy podstawowej chcesz określić „Cel”.