TensorFlow Model Analysis (TFMA) は、TensorFlow モデルを評価するためのライブラリです。これにより、ユーザーは、トレーナーで定義された同じメトリックを使用して、分散された方法で大量のデータでモデルを評価できます。これらのメトリクスは、データのさまざまなスライスに対して計算し、Jupyter ノートブックで視覚化できます。
インストール
TFMA をインストールする推奨される方法は、 PyPI パッケージを使用することです。
pip install tensorflow-model-analysis
ソースから TFMA をビルドする
ソースからビルドするには、次の手順に従います。
上記のリンクに従ってプロトコルをインストールします: protoc
コマンドを実行して仮想環境を作成する
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
これにより、dist ディレクトリに TFMA wheel がビルドされます。 dist ディレクトリから wheel をインストールするには、次のコマンドを実行します。
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
夜間パッケージ
TFMA は、Google Cloud のhttps://pypi-nightly.tensorflow.orgでナイトリー パッケージもホストしています。最新のナイトリー パッケージをインストールするには、次のコマンドを使用してください。
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
これにより、TensorFlow Metadata (TFMD)、TFX Basic Shared Libraries (TFX-BSL) などの TFMA の主要な依存関係のナイトリー パッケージがインストールされます。
現在、TFMA では TensorFlow がインストールされている必要がありますが、TensorFlow PyPI パッケージへの明示的な依存関係はありません。手順については、 TensorFlow インストール ガイドを参照してください。
Jupyter Notebook で TFMA 視覚化を有効にするには:
jupyter nbextension enable --py widgetsnbextensionjupyter nbextension enable --py tensorflow_model_analysis
ジュピターラボ
執筆時点では、 https://github.com/pypa/pip/issues/9187 のため、 pip installが完了しない可能性があります。その場合、pip を 20 ではなくバージョン 19 に戻す必要があります: pip install "pip<20" 。
JupyterLab 拡張機能を使用するには、コマンド ラインで依存関係をインストールする必要があります。これは、JupyterLab UI のコンソール内またはコマンド ラインで実行できます。これには、pip パッケージの依存関係と JupyterLab labextension プラグインの依存関係を個別にインストールすることが含まれ、バージョン番号は互換性がなければなりません。
以下の例では、0.27.0 を使用しています。以下の利用可能なバージョンを確認して、最新のものを使用してください。
ジュピター ラボ 1.2.x
pip install tensorflow_model_analysis==0.27.0jupyter labextension install tensorflow_model_analysis@0.27.0jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
ジュピター ラボ 2
pip install tensorflow_model_analysis==0.27.0jupyter labextension install tensorflow_model_analysis@0.27.0jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
トラブルシューティング
pip パッケージを確認します。
pip list
拡張機能を確認します。
jupyter labextension list
重要な依存関係
TensorFlow が必要です。
Apache Beamが必要です。これは、効率的な分散計算がサポートされる方法です。デフォルトでは、Apache Beam はローカル モードで実行されますが、 Google Cloud Dataflowやその他の Apache Beamランナーを使用して分散モードで実行することもできます。
Apache Arrowも必要です。 TFMA は、ベクトル化された numpy 関数を利用するために、Arrow を使用してデータを内部的に表現します。
入門
TFMA の使用方法については、スタート ガイドを参照してください。
互換性のあるバージョン
次の表は、相互に互換性のある TFMA パッケージのバージョンです。これはテスト フレームワークによって決定されますが、テストされていない他の組み合わせも機能する可能性があります。
| テンソルフローモデル分析 | Apache ビーム [gcp] | ピロウ | テンソルフロー | tensorflow-メタデータ | tfx-bsl |
|---|---|---|---|---|---|
| GitHub マスター | 2.40.0 | 6.0.0 | 毎晩 (1.x/2.x) | 1.11.0 | 1.11.0 |
| 0.42.1 | 2.40.0 | 6.0.0 | 1.15 / 2.10 | 1.11.0 | 1.11.0 |
| 0.41.1 | 2.40.0 | 6.0.0 | 1.15 / 2.9 | 1.10.0 | 1.10.1 |
| 0.41.0 | 2.40.0 | 6.0.0 | 1.15 / 2.9 | 1.10.0 | 1.10.1 |
| 0.40.0 | 2.38.0 | 5.0.0 | 1.15 / 2.9 | 1.9.0 | 1.9.0 |
| 0.39.0 | 2.38.0 | 5.0.0 | 1.15 / 2.8 | 1.8.0 | 1.8.0 |
| 0.38.0 | 2.36.0 | 5.0.0 | 1.15 / 2.8 | 1.7.0 | 1.7.0 |
| 0.37.0 | 2.35.0 | 5.0.0 | 1.15 / 2.7 | 1.6.0 | 1.6.0 |
| 0.36.0 | 2.34.0 | 5.0.0 | 1.15 / 2.7 | 1.5.0 | 1.5.0 |
| 0.35.0 | 2.33.0 | 5.0.0 | 1.15 / 2.6 | 1.4.0 | 1.4.0 |
| 0.34.1 | 2.32.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.0 |
| 0.34.0 | 2.31.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.1 |
| 0.33.0 | 2.31.0 | 2.0.0 | 1.15 / 2.5 | 1.2.0 | 1.2.0 |
| 0.32.1 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.1 |
| 0.32.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.0 |
| 0.31.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.0 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.1 | 2.28.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.3 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.2 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.1 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.2 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.1 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.6 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.5 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.4 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.3 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.1 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.4 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | なし | 0.15.1 |
| 0.15.3 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | なし | 0.15.1 |
| 0.15.2 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | なし | 0.15.1 |
| 0.15.1 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | なし | 0.15.0 |
| 0.15.0 | 2.16.0 | 0.15.0 | 1.15 | なし | なし |
| 0.14.0 | 2.14.0 | なし | 1.14 | なし | なし |
| 0.13.1 | 2.11.0 | なし | 1.13 | なし | なし |
| 0.13.0 | 2.11.0 | なし | 1.13 | なし | なし |
| 0.12.1 | 2.10.0 | なし | 1.12 | なし | なし |
| 0.12.0 | 2.10.0 | なし | 1.12 | なし | なし |
| 0.11.0 | 2.8.0 | なし | 1.11 | なし | なし |
| 0.9.2 | 2.6.0 | なし | 1.9 | なし | なし |
| 0.9.1 | 2.6.0 | なし | 1.10 | なし | なし |
| 0.9.0 | 2.5.0 | なし | 1.9 | なし | なし |
| 0.6.0 | 2.4.0 | なし | 1.6 | なし | なし |
質問
TFMA の操作に関する質問は、 tensorflow-model-analysisタグを使用してStack Overflowに送信してください。