Эта страница была переведа с помощью Cloud Translation API.
Switch to English

Понимание модели с помощью инструментальной панели «Что, если»

Что, если инструмент

What-If Tool (WIT) предоставляет простой в использовании интерфейс для более глубокого понимания моделей черного ящика и регрессионных моделей ML. С помощью плагина вы можете выполнить вывод на большом множестве примеров и сразу же визуализировать результаты различными способами. Кроме того, примеры можно редактировать вручную или программно и повторно выполнить модель, чтобы увидеть результаты изменений. Он содержит инструменты для исследования производительности модели и ее справедливости для подмножеств набора данных.

Цель этого инструмента - дать людям простой, интуитивно понятный и эффективный способ исследовать и исследовать обученные модели ML с помощью визуального интерфейса, абсолютно не требующего кода.

Доступ к инструменту можно получить через TensorBoard или непосредственно в блокноте Jupyter или Colab. Более подробную информацию, демонстрации, пошаговые руководства и информацию, относящуюся к использованию WIT в режиме ноутбука, см. На веб-сайте инструмента What-If .

Требования

Чтобы использовать WIT в TensorBoard, необходимы две вещи:

  • Модели, которые вы хотите исследовать, должны обслуживаться с использованием TensorFlow Serving с использованием API классификации, регрессии или прогнозирования.
  • Набор данных, который должен выводиться моделями, должен находиться в файле TFRecord, доступном веб-серверу TensorBoard.

использование

При открытии панели инструментов What-If Tool в TensorBoard вы увидите экран настройки, где вы указываете хост и порт сервера модели, имя обслуживаемой модели, тип модели и путь к файлу TFRecords для нагрузить. После заполнения этой информации и нажатия «Принять», WIT загрузит набор данных и выполнит вывод с моделью, отображая результаты.

Для получения подробной информации о различных функциях WIT и о том, как они могут помочь в понимании моделей и в исследованиях справедливости, см. Пошаговое руководство на веб-сайте What-If Tool .

Демо-модель и набор данных

Если вы хотите проверить WIT в TensorBoard с предварительно обученной моделью, вы можете загрузить и распаковать предварительно обученную модель и набор данных с https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip Модель представляет собой бинарную классификационную модель, которая использует набор данных переписи UCI для прогнозирования того, зарабатывает ли человек более 50 тысяч долларов в год. Этот набор данных и задача прогнозирования часто используются в моделировании машинного обучения и исследованиях справедливости.

Установите переменную среды MODEL_PATH для расположения результирующего каталога модели на вашем компьютере.

Установите Docker и TensorFlow Serving, следуя официальной документации .

Обслуживайте модель с помощью докера через docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Обратите внимание, что вам может потребоваться выполнить команду с sudo зависимости от настроек докера.

Теперь запустите тензорную доску и используйте раскрывающийся список приборной панели, чтобы перейти к инструменту «Что, если».

На экране настройки установите адрес вывода «localhost: 8500», имя модели - «uci_income», а путь к примерам - полный путь к загруженному файлу adult.tfrecord , затем нажмите «Принять».

Экран настройки для демонстрации

Вот некоторые вещи, которые можно попробовать с помощью инструмента What-If в этой демонстрации:

  • Редактирование единственной точки данных и просмотр итогового изменения в выводе.
  • Изучение взаимосвязи между отдельными функциями в наборе данных и выводом модели результатов на графиках частичной зависимости.
  • Разделение набора данных на подмножества и сравнение производительности между срезами.

Для более подробного ознакомления с функциями инструмента ознакомьтесь с пошаговым руководством « Что, если» .

Обратите внимание, что наземная функция истинности в наборе данных, которую эта модель пытается предсказать, называется «Цель», поэтому при использовании вкладки «Производительность и справедливость» «Цель» - это то, что вы хотите указать в раскрывающемся списке «Основная правда».