Ocena modeli za pomocą pulpitu wskaźników rzetelności [Beta]

Wskaźniki uczciwości

Uczciwość Wskaźniki TensorBoard umożliwia łatwe obliczenie powszechnie identyfikowanych metryk klasyfikatorów binarnych równe traktowanie i multiclass. Dzięki wtyczce możesz wizualizować oceny uczciwości dla swoich przebiegów i łatwo porównywać wydajność w różnych grupach.

W szczególności wskaźniki rzetelności dla TensorBoard umożliwiają ocenę i wizualizację wydajności modelu, w podziale na zdefiniowane grupy użytkowników. Poczuj pewność swoich wyników dzięki przedziałom ufności i ocenom na wielu progach.

Wiele istniejących narzędzi do oceny kwestii sprawiedliwości nie działa dobrze w przypadku zestawów danych i modeli na dużą skalę. W Google ważne jest dla nas posiadanie narzędzi, które mogą działać na systemach miliardowych użytkowników. Uczciwość Wskaźniki będzie można ocenić na dowolnej wielkości przypadku użycia w środowisku TensorBoard lub w Colab .

Wymagania

Aby zainstalować wskaźniki uczciwości dla TensorBoard, uruchom:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Próbny

Jeśli chcesz przetestować rzetelności wskaźników TensorBoard można pobrać przykładowe wyniki oceny TensorFlow model analizy (eval_config.json, metryk i działek plików) i demo.py narzędzie z Google Cloud Platform, tutaj za pomocą następującego polecenia.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Przejdź do katalogu zawierającego pobrane pliki.

cd tensorboard_plugin_fairness_indicators

Dane ocena opiera się na cywilnych Komentarze zbiór danych , oblicza się stosując model analizy Tensorflow za model_eval_lib bibliotekę. Zawiera również przykładowy plik podsumowania danych TensorBoard w celach informacyjnych.

demo.py narzędzie zapisuje plik Podsumowanie TensorBoard danych, które będą odczytywane przez TensorBoard do renderowania Fairness Wskaźniki deski rozdzielczej (patrz TensorBoard poradnik aby uzyskać więcej informacji na temat plików podsumowanie danych).

Flagi być używany z demo.py użyteczności:

  • --logdir : katalog gdzie TensorBoard napisze podsumowanie
  • --eval_result_output_dir : katalog zawierający wyniki oceny oceniane przez TFMA (pobranych w poprzednim kroku)

Uruchom demo.py narzędzia napisać podsumowanie wyników w katalogu dziennika:

python demo.py --logdir=. --eval_result_output_dir=.

Uruchom TensorBoard:

tensorboard --logdir=.

To uruchomi instancję lokalną. Po uruchomieniu instancji lokalnej zostanie wyświetlony link do terminala. Otwórz łącze w przeglądarce, aby wyświetlić panel wskaźników uczciwości.

Demo Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb zawiera demo end-to-end do pociągu i oceny modelu i wizualizacji wyników oceny uczciwości TensorBoard.

Stosowanie

Aby użyć wskaźników rzetelności z własnymi danymi i ocenami:

  1. Trenuj nowy model i oceniać za pomocą tensorflow_model_analysis.run_model_analysis lub tensorflow_model_analysis.ExtractEvaluateAndWriteResult API w model_eval_lib . Do fragmentów kodu, w jaki sposób to zrobić, patrz Wskaźniki Fairness colab tutaj .

  2. Napisz Podsumowanie Fairness Wskaźniki korzystając tensorboard_plugin_fairness_indicators.summary_v2 API.

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. Uruchom TensorBoard

    • tensorboard --logdir=<logdir>
    • Wybierz nowy przebieg oceny, korzystając z listy rozwijanej po lewej stronie pulpitu nawigacyjnego, aby zwizualizować wyniki.