このページは Cloud Translation API によって翻訳されました。
Switch to English

What-Ifツールダッシュボードによるモデルの理解

What-Ifツール

What-Ifツール(WIT)は、ブラックボックス分類と回帰MLモデルの理解を深めるための使いやすいインターフェースを提供します。プラグインを使用すると、多数の例で推論を実行し、さまざまな方法で結果を即座に視覚化できます。さらに、例を手動またはプログラムで編集し、モデルを再実行して、変更の結果を確認できます。これには、データセットのサブセットに対するモデルのパフォーマンスと公平性を調査するためのツールが含まれています。

このツールの目的は、コードをまったく必要とせずに、視覚的なインターフェースを介してトレーニング済みのMLモデルを探索および調査するための、シンプルで直感的かつ強力な方法を人々に提供することです。

このツールには、TensorBoardを介して、またはJupyterまたはColabノートブックから直接アクセスできます。ノートブックモードでのWITの使用に固有の詳細、デモ、ウォークスルー、および情報については、 What-IfツールのWebサイトを参照してください。

要件

TensorBoardでWITを使用するには、次の2つのことが必要です。

  • 探索するモデ​​ルは、classify、regress、またはpredictAPIを使用したTensorFlowServingを使用して提供する必要があります。
  • モデルによって推測されるデータセットは、TensorBoardWebサーバーからアクセスできるTFRecordファイルに含まれている必要があります。

使用法

TensorBoardでWhat-IfToolダッシュボードを開くと、モデルサーバーのホストとポート、提供されているモデルの名前、モデルのタイプ、およびTFRecordsファイルへのパスを指定するセットアップ画面が表示されます。負荷。この情報を入力して[同意する]をクリックすると、WITはデータセットを読み込み、モデルで推論を実行して結果を表示します。

WITのさまざまな機能と、それらがモデルの理解と公平性の調査にどのように役立つかについての詳細は、 What-IfツールWebサイトのウォークスルーを参照してください。

デモモデルとデータセット

事前にトレーニングされたモデルを使用してTensorBoardでWITをテストする場合は、事前にトレーニングされたモデルとデータセットをhttps://storage.googleapis.com/what-if-tool-resources/uci-censusからダウンロードして解凍できます。 -demo / uci-census-demo.zipこのモデルは、 UCI国勢調査データセットを使用して、人が年間5万ドル以上稼ぐかどうかを予測するバイナリ分類モデルです。このデータセットと予測タスクは、機械学習モデリングと公平性の研究でよく使用されます。

環境変数MODEL_PATHを、マシン上の結果のモデルディレクトリの場所に設定します。

公式ドキュメントに従って、dockerとTensorFlowServingをインストールします

docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/servingます。 Dockerの設定によっては、 sudo使用してコマンドを実行する必要がある場合があることに注意してください。

次に、テンソルボードを起動し、ダッシュボードのドロップダウンを使用して、What-Ifツールに移動します。

セットアップ画面で、推論アドレスを「localhost:8500」に、モデル名を「uci_income」に、例へのパスをダウンロードしたadult.tfrecordファイルへのフルパスに設定し、「Accept」を押します。

デモのセットアップ画面

このデモでWhat-Ifツールを試してみるには、次のようなものがあります。

  • 単一のデータポイントを編集し、結果として生じる推論の変化を確認します。
  • 部分的な依存関係プロットを通じて、データセット内の個々の特徴とモデルの推論結果との関係を調査します。
  • データセットをサブセットにスライスし、スライス間のパフォーマンスを比較します。

ツールの機能の詳細については、 What-Ifツールのチュートリアルをご覧ください

このモデルが予測しようとしているデータセットのグラウンドトゥルース機能は「ターゲット」という名前であることに注意してください。したがって、「パフォーマンスと公平性」タブを使用する場合、「ターゲット」はグラウンドトゥルース機能のドロップダウンで指定するものです。