Análise do modelo TensorFlow

O TensorFlow Model Analysis (TFMA) é uma biblioteca para avaliar modelos do TensorFlow. Ele permite que os usuários avaliem seus modelos em grandes quantidades de dados de forma distribuída, usando as mesmas métricas definidas em seu treinador. Essas métricas podem ser calculadas em diferentes fatias de dados e visualizadas em notebooks Jupyter.

Instalação

A maneira recomendada de instalar o TFMA é usando o pacote PyPI :

pip install tensorflow-model-analysis

Construir TFMA a partir da fonte

Para compilar a partir do código-fonte, siga os seguintes passos:

Instale o protoc conforme o link mencionado: protoc

Crie um ambiente virtual executando os comandos

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Isso construirá a roda TFMA no diretório dist. Para instalar o wheel a partir do diretório dist execute os comandos

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pacotes noturnos

O TFMA também hospeda pacotes noturnos em https://pypi-nightly.tensorflow.org no Google Cloud. Para instalar o pacote noturno mais recente, use o seguinte comando:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Isso instalará os pacotes noturnos para as principais dependências do TFMA, como TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Atualmente, o TFMA exige que o TensorFlow esteja instalado, mas não tem uma dependência explícita do pacote TensorFlow PyPI. Consulte os guias de instalação do TensorFlow para obter instruções.

Para habilitar a visualização do TFMA no Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Laboratório Jupyter

Até o momento, por causa de https://github.com/pypa/pip/issues/9187, a pip install pode nunca terminar. Nesse caso, você deve reverter o pip para a versão 19 em vez de 20: pip install "pip<20" .

O uso de uma extensão JupyterLab requer a instalação de dependências na linha de comando. Você pode fazer isso no console na interface do usuário do JupyterLab ou na linha de comando. Isso inclui instalar separadamente quaisquer dependências do pacote pip e dependências do plug-in JupyterLab labextension, e os números de versão devem ser compatíveis.

Os exemplos abaixo usam 0.27.0. Verifique as versões disponíveis abaixo para usar as mais recentes.

Laboratório Jupyter 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Laboratório Jupyter 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Solução de problemas

Verifique os pacotes de pip:

pip list

Verifique as extensões:

jupyter labextension list

Dependências notáveis

O TensorFlow é obrigatório.

O Apache Beam é necessário; é a forma como a computação distribuída eficiente é suportada. Por padrão, o Apache Beam é executado no modo local, mas também pode ser executado no modo distribuído usando o Google Cloud Dataflow e outros executores do Apache Beam .

Apache Arrow também é necessário. O TFMA usa a seta para representar dados internamente para fazer uso de funções numpy vetorizadas.

Começando

Para obter instruções sobre como usar o TFMA, consulte o guia de introdução.

Versões Compatíveis

A tabela a seguir são as versões do pacote TFMA que são compatíveis entre si. Isso é determinado por nossa estrutura de teste, mas outras combinações não testadas também podem funcionar.

Questões

Por favor, direcione quaisquer dúvidas sobre como trabalhar com o TFMA para o Stack Overflow usando a tag tensorflow-model-analysis .