SIG TFX-Addonsコミュニティに参加して、TFXをさらに改善するのを手伝ってください! SIGTFXに参加-アドオン

TensorFlowモデル分析

TensorFlowモデル分析(TFMA)はTensorFlowモデルを評価するためのライブラリです。これにより、ユーザーは、トレーナーで定義されているのと同じメトリックを使用して、大量のデータでモデルを分散して評価できます。これらのメトリックは、データのさまざまなスライスに対して計算し、Jupyterノートブックで視覚化できます。

TFMAスライシングメトリクスブラウザ

インストール

TFMAをインストールすることをお勧めの方法は、使用しているは、PyPIパッケージを

pip install tensorflow-model-analysis

ソースからTFMAを構築する

ソースからビルドするには、次の手順に従います。

:言及リンクあたりとしてprotocをインストールprotoc

コマンドを実行して仮想環境を作成します

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

これにより、distディレクトリにTFMAホイールが作成されます。 distディレクトリからホイールをインストールするには、コマンドを実行します

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

ナイトリーパッケージ

TFMAもで毎晩のパッケージをホストするhttps://pypi-nightly.tensorflow.org Googleクラウド上。最新のナイトリーパッケージをインストールするには、次のコマンドを使用してください。

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

これにより、TensorFlowメタデータ(TFMD)、TFX基本共有ライブラリ(TFX-BSL)などのTFMAの主要な依存関係の夜間パッケージがインストールされます。

現在、TFMAではTensorFlowがインストールされている必要がありますが、TensorFlowPyPIパッケージに明示的に依存していません。参照してくださいTensorFlowはガイドを取り付ける手順について。

Jupyter NotebookでTFMAの視覚化を有効にするには:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Jupyter Lab

ための、書き込みのとおりhttps://github.com/pypa/pip/issues/9187、 pip install終了しない場合があります。その場合は、バージョン19ではなく20にピップ戻す必要があります。 pip install "pip<20"

JupyterLab拡張機能を使用するには、コマンドラインに依存関係をインストールする必要があります。これは、JupyterLabUIのコンソール内またはコマンドラインで実行できます。これには、pipパッケージの依存関係とJupyterLab labextensionプラグインの依存関係を個別にインストールすることが含まれ、バージョン番号は互換性がある必要があります。

以下の例では0.27.0を使用しています。利用可能チェックのバージョンを最新のを使用するには、以下。

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

トラブルシューティング

pipパッケージを確認します。

pip list

拡張機能を確認してください:

jupyter labextension list

注目すべき依存関係

TensorFlowが必要です。

Apacheのビームが必要とされます。これは、効率的な分散計算をサポートする方法です。デフォルトでは、Apacheのビームは、ローカルモードで動作しますが、また、使用して分散モードで実行することができますGoogleのクラウドデータフローおよびその他のApacheビームランナーを

Apacheの矢印をも必要とされます。 TFMAは、ベクトル化されたnumpy関数を利用するために、Arrowを使用してデータを内部的に表します。

入門

TFMAの使用手順については、 GETはガイドを始めました

互換性のあるバージョン

次の表は、相互に互換性のあるTFMAパッケージのバージョンです。これが私たちのテストフレームワークによって決定されるが、他のテストされていない組み合わせでも動作する場合があります。

tensorflow-model-analysis apache-beam [gcp] pyarrow tensorflow tensorflow-メタデータtfx-bsl
GitHubマスター2.32.0 2.0.0毎晩(1.x / 2.x) 1.2.0 1.3.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0該当なし0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0該当なし0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0該当なし0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0該当なし0.15.0
0.15.0 2.16.0 0.15.0 1.15該当なし該当なし
0.14.0 2.14.0該当なし1.14該当なし該当なし
0.13.1 2.11.0該当なし1.13該当なし該当なし
0.13.0 2.11.0該当なし1.13該当なし該当なし
0.12.1 2.10.0該当なし1.12該当なし該当なし
0.12.0 2.10.0該当なし1.12該当なし該当なし
0.11.0 2.8.0該当なし1.11該当なし該当なし
0.9.2 2.6.0該当なし1.9該当なし該当なし
0.9.1 2.6.0該当なし1.10該当なし該当なし
0.9.0 2.5.0該当なし1.9該当なし該当なし
0.6.0 2.4.0該当なし1.6該当なし該当なし

質問

TFMAでの作業についてのご質問は直接お問い合わせくださいスタックオーバーフロー使っtensorflowモデル解析タグを。