Weź udział w sympozjum Women in ML 7 grudnia Zarejestruj się teraz

Zrozumienie modelu za pomocą pulpitu narzędzi „Co, jeśli”

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Narzędzie warunkowe

Narzędzie What-If (WIT) zapewnia łatwy w użyciu interfejs do lepszego zrozumienia modeli klasyfikacji czarnoskrzynkowej i regresji ML. Dzięki wtyczce możesz wnioskować na dużym zestawie przykładów i natychmiast wizualizować wyniki na różne sposoby. Ponadto przykłady można edytować ręcznie lub programowo i ponownie przeglądać model, aby zobaczyć wyniki zmian. Zawiera narzędzia do badania wydajności i uczciwości modelu w podzbiorach zestawu danych.

Celem tego narzędzia jest zapewnienie ludziom prostego, intuicyjnego i wydajnego sposobu eksplorowania i badania wyszkolonych modeli ML za pomocą wizualnego interfejsu bez żadnego kodu.

Dostęp do narzędzia można uzyskać za pośrednictwem TensorBoard lub bezpośrednio w notatniku Jupyter lub Colab. Na bardziej szczegółowe dane, dema, solucje, a informacje specyficzne dla użyciu WIT w trybie notebooka, zobacz stronę internetową Co-Jeśli narzędzie .

Wymagania

Aby korzystać z WIT w TensorBoard, potrzebne są dwie rzeczy:

  • Modelu (y) chcesz zbadać muszą być podawane za pomocą TensorFlow Służąc pomocą klasyfikowania, regresu, czy przewidują API.
  • Zestaw danych, który ma być wywnioskowany przez modele, musi znajdować się w pliku TFRecord dostępnym przez serwer sieciowy TensorBoard.

Stosowanie

Po otwarciu pulpitu nawigacyjnego What-If Tool w TensorBoard, zobaczysz ekran konfiguracji, na którym podasz hosta i port serwera modelu, nazwę obsługiwanego modelu, typ modelu i ścieżkę do pliku TFRecords do Załaduj. Po wypełnieniu tych informacji i kliknięciu „Akceptuj”, WIT załaduje zbiór danych i przeprowadzi wnioskowanie z modelem, wyświetlając wyniki.

Szczegółowe informacje na temat poszczególnych cech dowcip i jak mogą pomóc w zrozumieniu i modelu dochodzenia sprawiedliwości, zobacz instruktażu na co-jeśli narzędzie stronie .

Model demonstracyjny i zbiór danych

Jeśli chcesz przetestować WIT w TensorBoard ze wstępnie przeszkoleni modelu, można pobrać i rozpakować wcześniej przeszkoleni model i zestaw danych z https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip Model jest binarnym modelu klasyfikacji, który korzysta z UCI Census zestawu danych przewidzieć, czy dana osoba zarabia ponad $ 50kA roku. Ten zestaw danych i zadanie przewidywania są często używane w modelowaniu uczenia maszynowego i badaniach uczciwości.

Ustaw zmienną środowiskową MODEL_PATH na lokalizację wynikowego katalogu modelu na twoim komputerze.

Zainstalować doker i TensorFlow Serving po oficjalnej dokumentacji .

Podawać model używając docker przez docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Uwaga może trzeba uruchomić polecenie z sudo w zależności od konfiguracji Döcker.

Teraz uruchom tablicę tensorboard i użyj rozwijanego pulpitu, aby przejść do narzędzia What-If.

Na ekranie konfiguracji ustaw adddress wnioskowania na „localhost: 8500”, nazwa modelu do „uci_income” i droga do przykładów z pełną ścieżką do pobranego adult.tfrecord plik, a następnie naciśnij przycisk „Akceptuj”.

Ekran konfiguracji do demonstracji

Oto kilka rzeczy, które można wypróbować za pomocą narzędzia What-If w tym demo:

  • Edytowanie pojedynczego punktu danych i obserwowanie wynikającej z tego zmiany w wnioskowaniu.
  • Badanie relacji między poszczególnymi cechami w zbiorze danych a wynikami wnioskowania modelu za pomocą wykresów częściowych zależności.
  • Dzielenie zestawu danych na podzbiory i porównywanie wydajności między wycinkami.

Dla dogłębnie w narzędziu funkcji, sprawdź co jeśli narzędzie instruktażu .

Zwróć uwagę, że funkcja prawdy podstawowej w zestawie danych, którą ten model próbuje przewidzieć, nosi nazwę „Cel”, więc podczas korzystania z karty „Wydajność i uczciwość” w menu rozwijanym funkcji prawdy podstawowej chcesz określić „Cel”.