Анализ модели TensorFlow

Анализ моделей TensorFlow (TFMA) — это библиотека для оценки моделей TensorFlow. Это позволяет пользователям оценивать свои модели на больших объемах данных распределенным образом, используя те же метрики, которые определены в их тренере. Эти метрики можно вычислять по разным фрагментам данных и визуализировать в блокнотах Jupyter.

Монтаж

Рекомендуемый способ установки TFMA — использование пакета PyPI :

pip install tensorflow-model-analysis

Сборка TFMA из исходников

Для сборки из исходников выполните следующие шаги:

Установите протокол по указанной ссылке: protoc

Создайте виртуальную среду, выполнив команды

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Это создаст колесо TFMA в каталоге dist. Чтобы установить колесо из каталога dist, выполните команды

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Ночные пакеты

TFMA также размещает ночные пакеты на https://pypi-nightly.tensorflow.org в Google Cloud. Чтобы установить последний ночной пакет, используйте следующую команду:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Это установит ночные пакеты для основных зависимостей TFMA, таких как метаданные TensorFlow (TFMD), базовые общие библиотеки TFX (TFX-BSL).

В настоящее время TFMA требует, чтобы был установлен TensorFlow, но не имеет явной зависимости от пакета TensorFlow PyPI. Инструкции см. в руководствах по установке TensorFlow .

Чтобы включить визуализацию TFMA в Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Лаборатория Юпитера

На момент написания статьи из-за https://github.com/pypa/pip/issues/9187 pip install может никогда не завершиться. В этом случае вам следует вернуть pip к версии 19 вместо 20: pip install "pip<20" .

Использование расширения JupyterLab требует установки зависимостей в командной строке. Вы можете сделать это в консоли пользовательского интерфейса JupyterLab или в командной строке. Это включает в себя отдельную установку любых зависимостей пакета pip и зависимостей плагина JupyterLab labextension, а номера версий должны быть совместимы.

В приведенных ниже примерах используется версия 0.27.0. Проверьте доступные версии ниже, чтобы использовать последнюю.

Лаборатория Юпитера 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Лаборатория Юпитера 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Исправление проблем

Проверьте пакеты пипсов:

pip list

Проверьте расширения:

jupyter labextension list

Известные зависимости

Требуется TensorFlow.

Требуется Apache Beam ; это способ, которым поддерживаются эффективные распределенные вычисления. По умолчанию Apache Beam работает в локальном режиме, но также может работать в распределенном режиме с использованием Google Cloud Dataflow и других исполнителей Apache Beam.

Также требуется Apache Arrow . TFMA использует Arrow для внутреннего представления данных, чтобы использовать векторизованные функции numpy.

Начиная

Инструкции по использованию TFMA см. в руководстве по началу работы .

Совместимые версии

В следующей таблице представлены версии пакета TFMA, совместимые друг с другом. Это определяется нашей средой тестирования, но могут работать и другие непроверенные комбинации.

Вопросы

Любые вопросы по работе с TFMA направляйте в Stack Overflow , используя тег tensorflow-model-analysis .