Инструмент «Что, если» (WIT) предоставляет простой в использовании интерфейс для расширения понимания классификаций черного ящика и моделей регрессионного машинного обучения. С помощью плагина вы можете делать выводы на большом наборе примеров и сразу визуализировать результаты различными способами. Кроме того, примеры можно редактировать вручную или программно и повторно запускать модель, чтобы увидеть результаты изменений. Он содержит инструменты для исследования производительности и достоверности модели по подмножествам набора данных.
Цель этого инструмента — предоставить людям простой, интуитивно понятный и мощный способ изучения и исследования обученных моделей машинного обучения с помощью визуального интерфейса, абсолютно не требующего кода.
Доступ к инструменту можно получить через TensorBoard или непосредственно в блокноте Jupyter или Colab. Более подробные сведения, демонстрации, пошаговые руководства и информацию, относящуюся к использованию WIT в режиме ноутбука, см. на веб-сайте What-If Tool .
Требования
Чтобы использовать WIT в TensorBoard, необходимы две вещи:
- Модели, которые вы хотите исследовать, должны обслуживаться с помощью TensorFlow Serving с использованием API классификации, регрессии или прогнозирования.
- Набор данных, выводимый моделями, должен находиться в файле TFRecord, доступном веб-серверу TensorBoard.
Применение
При открытии панели инструментов What-If Tool в TensorBoard вы увидите экран настройки, на котором вы указываете хост и порт сервера модели, имя обслуживаемой модели, тип модели и путь к файлу TFRecords для нагрузка. После заполнения этой информации и нажатия «Принять» WIT загрузит набор данных и выполнит вывод с помощью модели, отображая результаты.
Подробные сведения о различных функциях WIT и о том, как они могут помочь в понимании модели и исследованиях справедливости, см. в пошаговом руководстве на веб-сайте What-If Tool .
Демонстрационная модель и набор данных
Если вы хотите протестировать WIT в TensorBoard с предварительно обученной моделью, вы можете скачать и разархивировать предварительно обученную модель и набор данных с https://storage.googleapis.com/what-if-tool-resources/uci-census . -demo/uci-census-demo.zip Модель представляет собой модель двоичной классификации, которая использует набор данных переписи населения UCI для прогнозирования того, зарабатывает ли человек более 50 тысяч долларов в год. Этот набор данных и задача прогнозирования часто используются в моделировании машинного обучения и исследованиях справедливости.
Задайте для переменной среды MODEL_PATH расположение результирующего каталога модели на вашем компьютере.
Установите докер и TensorFlow Serving, следуя официальной документации .
Подайте модель с помощью docker через docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving Обратите внимание, что вам может потребоваться запустить команду с помощью sudo в зависимости от вашей настройки докера.
Теперь запустите tensorboard и используйте раскрывающийся список панели инструментов, чтобы перейти к инструменту «Что, если».
На экране настройки установите адрес вывода на «localhost: 8500», имя модели на «uci_income» и путь к примерам на полный путь к загруженному файлу adult.tfrecord , затем нажмите «Принять».
Некоторые вещи, которые можно попробовать с помощью инструмента «Что, если» в этой демонстрации, включают:
- Редактирование одной точки данных и просмотр результирующего изменения в выводе.
- Изучение взаимосвязи между отдельными функциями в наборе данных и результатами вывода модели с помощью графиков частичной зависимости.
- Разделение набора данных на подмножества и сравнение производительности между срезами.
Для более подробного ознакомления с функциями инструмента ознакомьтесь с пошаговым руководством по инструменту «что, если» .
Обратите внимание, что функция наземной истины в наборе данных, которую пытается предсказать эта модель, называется «Цель», поэтому при использовании вкладки «Производительность и справедливость» «Цель» — это то, что вы хотите указать в раскрывающемся списке функции наземной истины.