Понимание модели с помощью панели инструментов "Что, если"

Что если инструмент

Инструмент What-If Tool (WIT) предоставляет простой в использовании интерфейс для более глубокого понимания классификаций черного ящика и регрессионных моделей машинного обучения. С помощью плагина вы можете выполнять логический вывод на большом наборе примеров и сразу же визуализировать результаты различными способами. Кроме того, примеры можно редактировать вручную или программно и повторно прогонять по модели, чтобы увидеть результаты изменений. Он содержит инструменты для исследования производительности и справедливости модели по подмножествам набора данных.

Цель этого инструмента - предоставить людям простой, интуитивно понятный и мощный способ исследовать и исследовать обученные модели машинного обучения через визуальный интерфейс без необходимости в коде.

Доступ к инструменту можно получить через TensorBoard или непосредственно в записной книжке Jupyter или Colab. Для более углубленного детали, демки, Прохождения, и информация , относящаяся к использованию WIT в режиме ноутбука, смотрите веб - сайт Что, если инструмент .

Требования

Чтобы использовать WIT в TensorBoard, необходимы две вещи:

  • В модели (ы) вы хотите изучить , должны быть поданы с использованием TensorFlow сервировки с использованием КЛАССИФИЦИРУЙТЕ, регресс, или предсказать API.
  • Набор данных, который должен быть выведен моделями, должен находиться в файле TFRecord, доступном веб-серверу TensorBoard.

использование

При открытии панели инструментов What-If Tool в TensorBoard вы увидите экран настройки, где вы указываете хост и порт сервера модели, имя обслуживаемой модели, тип модели и путь к файлу TFRecords для нагрузка. После заполнения этой информации и нажатия кнопки «Принять» WIT загрузит набор данных и выполнит логический вывод с моделью, отображая результаты.

Более подробную информацию о различных особенностях WIT , и как они могут помочь в модели понимания и справедливости исследований см прохождение игры на что-если инструмент веб - сайт .

Демо-модель и набор данных

Если вы хотите , чтобы проверить WIT в TensorBoard с заранее подготовленных модели, вы можете скачать и распаковать предварительно подготовленные модели и набора данных из https://storage.googleapis.com/what-if-tool-resources/uci-census -DEMO / uci-census-demo.zip модель представляет собой модель бинарной классификации , которая использует UCI перепись набор данные для прогнозирования получает ли человек больше , чем $ 50kA года. Этот набор данных и задача прогнозирования часто используются в моделировании машинного обучения и исследованиях справедливости.

Задайте для переменной среды MODEL_PATH расположение каталога результирующей модели на вашем компьютере.

Установите докер и TensorFlow сервировки после официальной документации .

Подавать модель с помощью докер через docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Обратите внимание , возможно , потребуется выполнить команду с sudo в зависимости от настроек Докер.

Теперь запустите тензорную панель и используйте раскрывающийся список панели инструментов, чтобы перейти к инструменту «Что, если».

На экране настройки установите логический вывод adddress на «локальный хост: 8500», название модели на «uci_income» и путь к примерам на полный путь к загруженному adult.tfrecord файлу, а затем нажмите кнопку «Accept».

Экран настройки для демонстрации

Вот некоторые вещи, которые можно попробовать с помощью инструмента What-If Tool в этой демонстрации:

  • Редактирование единственной точки данных и просмотр результирующего изменения вывода.
  • Изучение взаимосвязи между отдельными функциями в наборе данных и результатами вывода модели с помощью графиков частичной зависимости.
  • Разбиение набора данных на подмножества и сравнение производительности между срезами.

Для взгляда углубленных в особенности Автомата, проверьте что, если инструмент прохождение игры .

Обратите внимание, что элемент достоверности данных в наборе данных, который эта модель пытается предсказать, называется «Цель», поэтому при использовании вкладки «Производительность и справедливость» «Цель» - это то, что вы захотите указать в раскрывающемся списке функции достоверности.