TensorFlowモデル分析

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

TensorFlow Model Analysis (TFMA) は、TensorFlow モデルを評価するためのライブラリです。これにより、ユーザーは、トレーナーで定義された同じメトリックを使用して、分散された方法で大量のデータでモデルを評価できます。これらのメトリクスは、データのさまざまなスライスに対して計算し、Jupyter ノートブックで視覚化できます。

TFMA スライシング メトリクス ブラウザ

インストール

TFMA をインストールする推奨される方法は、 PyPI パッケージを使用することです。

pip install tensorflow-model-analysis

ソースから TFMA をビルドする

ソースからビルドするには、次の手順に従います。

上記のリンクに従ってプロトコルをインストールします: protoc

コマンドを実行して仮想環境を作成する

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

これにより、dist ディレクトリに TFMA wheel がビルドされます。 dist ディレクトリから wheel をインストールするには、次のコマンドを実行します。

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

夜間パッケージ

TFMA は、Google Cloud のhttps://pypi-nightly.tensorflow.orgでナイトリー パッケージもホストしています。最新のナイトリー パッケージをインストールするには、次のコマンドを使用してください。

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

これにより、TensorFlow Metadata (TFMD)、TFX Basic Shared Libraries (TFX-BSL) などの TFMA の主要な依存関係のナイトリー パッケージがインストールされます。

現在、TFMA では TensorFlow がインストールされている必要がありますが、TensorFlow PyPI パッケージへの明示的な依存関係はありません。手順については、 TensorFlow インストール ガイドを参照してください。

Jupyter Notebook で TFMA 視覚化を有効にするには:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

ジュピターラボ

執筆時点では、 https://github.com/pypa/pip/issues/9187 のため、 pip installが完了しない可能性があります。その場合、pip を 20 ではなくバージョン 19 に戻す必要があります: pip install "pip<20"

JupyterLab 拡張機能を使用するには、コマンド ラインで依存関係をインストールする必要があります。これは、JupyterLab UI のコンソール内またはコマンド ラインで実行できます。これには、pip パッケージの依存関係と JupyterLab labextension プラグインの依存関係を個別にインストールすることが含まれ、バージョン番号は互換性がなければなりません。

以下の例では、0.27.0 を使用しています。以下の利用可能なバージョンを確認して、最新のものを使用してください。

ジュピター ラボ 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

ジュピター ラボ 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

トラブルシューティング

pip パッケージを確認します。

pip list

拡張機能を確認します。

jupyter labextension list

重要な依存関係

TensorFlow が必要です。

Apache Beamが必要です。これは、効率的な分散計算がサポートされる方法です。デフォルトでは、Apache Beam はローカル モードで実行されますが、 Google Cloud Dataflowやその他の Apache Beamランナーを使用して分散モードで実行することもできます。

Apache Arrowも必要です。 TFMA は、ベクトル化された numpy 関数を利用するために、Arrow を使用してデータを内部的に表現します。

入門

TFMA の使用方法については、スタート ガイドを参照してください。

互換性のあるバージョン

次の表は、相互に互換性のある TFMA パッケージのバージョンです。これはテスト フレームワークによって決定されますが、テストされていない他の組み合わせも機能する可能性があります。

テンソルフローモデル分析Apache ビーム [gcp]ピロウテンソルフローtensorflow-メタデータtfx-bsl
GitHub マスター2.40.0 6.0.0毎晩 (1.x/2.x) 1.11.0 1.11.0
0.42.1 2.40.0 6.0.0 1.15 / 2.10 1.11.0 1.11.0
0.41.1 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0なし0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0なし0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0なし0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0なし0.15.0
0.15.0 2.16.0 0.15.0 1.15なしなし
0.14.0 2.14.0なし1.14なしなし
0.13.1 2.11.0なし1.13なしなし
0.13.0 2.11.0なし1.13なしなし
0.12.1 2.10.0なし1.12なしなし
0.12.0 2.10.0なし1.12なしなし
0.11.0 2.8.0なし1.11なしなし
0.9.2 2.6.0なし1.9なしなし
0.9.1 2.6.0なし1.10なしなし
0.9.0 2.5.0なし1.9なしなし
0.6.0 2.4.0なし1.6なしなし

質問

TFMA の操作に関する質問は、 tensorflow-model-analysisタグを使用してStack Overflowに送信してください。