Оценка моделей с помощью панели индикаторов справедливости [бета]

Справедливость Показатели TensorBoard позволяет легко вычислять часто идентифицированные метрики справедливости для бинарных и MultiClass классификаторов. С помощью этого плагина вы можете визуализировать оценки справедливости ваших пробежек и легко сравнивать показатели по группам.

В частности, индикаторы справедливости для TensorBoard позволяют оценивать и визуализировать производительность модели, сгруппированную по определенным группам пользователей. Будьте уверены в своих результатах с доверительными интервалами и оценками с несколькими пороговыми значениями.

Многие существующие инструменты для оценки проблем справедливости не работают с крупномасштабными наборами данных и моделями. Для Google важно иметь инструменты, которые могут работать в системах с миллиардом пользователей. Справедливость Показатели позволит оценить через любого размера случая использования в среде TensorBoard или в Colab .

Требования

Чтобы установить индикаторы справедливости для TensorBoard, запустите:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Демо

Если вы хотите , чтобы проверить СПРАВЕДЛИВОСТЬ показателей в TensorBoard, вы можете скачать пример результаты оценки TensorFlow Model Analysis (eval_config.json, метрику и участки файлы) и demo.py утилит от Google Cloud Platform, здесь с помощью следующей команды.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Перейдите в каталог, содержащий загруженные файлы.

cd tensorboard_plugin_fairness_indicators

Эти данные оценки основаны на гражданских Комментарии набора данных , рассчитывается с использованием Tensorflow модели анализа в model_eval_lib библиотеку. Он также содержит образец файла сводных данных TensorBoard для справки.

demo.py утилита записывает файл сводной TensorBoard данных, который будет прочитан TensorBoard , чтобы сделать приборную панель индикаторов Справедливости (см TensorBoard учебника для получения дополнительной информации о файлах сводных данных).

Флаги , которые будут использоваться с demo.py утилиты:

• --logdir : Справочник где TensorBoard запишет резюме
• --eval_result_output_dir : каталог , содержащий результаты оценки оценены TFMA (скачано в последней стадии)

Запустите demo.py утилиты для записи сводки результатов в каталоге журнала:

python demo.py --logdir=. --eval_result_output_dir=.

Запустите TensorBoard:

tensorboard --logdir=.

Это запустит локальный экземпляр. После запуска локального экземпляра будет отображаться ссылка на терминал. Откройте ссылку в браузере, чтобы просмотреть панель индикаторов справедливости.

Демо Колаб

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb содержит демонстрационный от конца до конца на поезд и оценивать модели и визуализировать результаты оценки справедливости в TensorBoard.

использование

Чтобы использовать индикаторы справедливости с вашими собственными данными и оценками:

1. Поезд новую модель и оценить с помощью tensorflow_model_analysis.run_model_analysis или tensorflow_model_analysis.ExtractEvaluateAndWriteResult API в model_eval_lib . Для фрагментов коды о том , как это сделать, см индикаторов Справедливости colab здесь .

2. Написать Справедливость Сводные показатели с помощью tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. Запустите TensorBoard

   • tensorboard --logdir=<logdir>
   • Выберите новый оценочный прогон, используя раскрывающийся список в левой части панели инструментов, чтобы визуализировать результаты.