TensorFlowモデル分析

TensorFlowモデル分析（TFMA）は、TensorFlowモデルを評価するためのライブラリです。これにより、ユーザーは、トレーナーで定義されているのと同じメトリックを使用して、大量のデータでモデルを分散して評価できます。これらのメトリックは、データのさまざまなスライスに対して計算し、Jupyterノートブックで視覚化できます。

インストール

TFMAをインストールするための推奨される方法は、 PyPIパッケージを使用することです。

pip install tensorflow-model-analysis

ソースからTFMAを構築する

ソースからビルドするには、次の手順に従います。

上記のリンクに従ってprotocをインストールします： protoc

コマンドを実行して仮想環境を作成します

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

これにより、distディレクトリにTFMAホイールが作成されます。 distディレクトリからホイールをインストールするには、コマンドを実行します

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

ナイトリーパッケージ

TFMAは、GoogleCloudのhttps://pypi-nightly.tensorflow.orgで夜間パッケージもホストしています。最新のナイトリーパッケージをインストールするには、次のコマンドを使用してください。

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

これにより、TensorFlowメタデータ（TFMD）、TFX基本共有ライブラリ（TFX-BSL）などのTFMAの主要な依存関係の夜間パッケージがインストールされます。

現在、TFMAではTensorFlowがインストールされている必要がありますが、TensorFlowPyPIパッケージに明示的に依存していません。手順については、 TensorFlowインストールガイドをご覧ください。

Jupyter NotebookでTFMAの視覚化を有効にするには：

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Jupyter Lab

執筆時点では、 https：//github.com/pypa/pip/issues/9187のため、 pip installが完了しない場合があります。その場合、pipを20ではなくバージョン19に戻す必要があります： pip install "pip<20" 。

JupyterLab拡張機能を使用するには、コマンドラインに依存関係をインストールする必要があります。これは、JupyterLabUIのコンソール内またはコマンドラインで実行できます。これには、pipパッケージの依存関係とJupyterLab labextensionプラグインの依存関係を個別にインストールすることが含まれ、バージョン番号は互換性がなければなりません。

以下の例では0.27.0を使用しています。最新のものを使用するには、以下の利用可能なバージョンを確認してください。

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

トラブルシューティング

pipパッケージを確認します。

pip list

拡張機能を確認してください：

jupyter labextension list

注目すべき依存関係

TensorFlowが必要です。

ApacheBeamが必要です。これは、効率的な分散計算をサポートする方法です。デフォルトでは、Apache Beamはローカルモードで実行されますが、 Google CloudDataflowおよびその他のApacheBeamランナーを使用して分散モードで実行することもできます。

ApacheArrowも必要です。 TFMAは、ベクトル化されたnumpy関数を利用するために、Arrowを使用してデータを内部的に表します。

入門

TFMAの使用方法については、スタートガイドを参照してください。

互換性のあるバージョン

次の表は、相互に互換性のあるTFMAパッケージのバージョンです。これはテストフレームワークによって決定されますが、他のテストされていない組み合わせも機能する可能性があります。

質問

TFMAでの作業についてのご質問は直接お問い合わせくださいスタックオーバーフロー使っtensorflowモデル解析タグを。