このページは Cloud Translation API によって翻訳されました。
Switch to English

What-Ifツールダッシュボードによるモデルの理解

What-Ifツール

What-Ifツール(WIT)は、ブラックボックス分類と回帰MLモデルの理解を深めるための使いやすいインターフェースを提供します。プラグインを使用すると、多数の例のセットで推論を実行し、さまざまな方法で結果を即座に視覚化できます。さらに、例を手動またはプログラムで編集し、モデルを再実行して変更の結果を確認できます。これには、データセットのサブセットに対するモデルのパフォーマンスと公平性を調査するためのツールが含まれています。

このツールの目的は、コードをまったく必要としないビジュアルインターフェースを通じて、トレーニングされたMLモデルを探索および調査するためのシンプルで直感的で強力な方法を人々に提供することです。

このツールには、TensorBoardを介して、またはJupyterまたはColabノートブックから直接アクセスできます。詳細、デモ、ウォークスルー、ノートブックモードでのWITの使用に固有の情報については、 What-IfツールのWebサイトを参照してください。

必要条件

TensorBoardでWITを使用するには、次の2つが必要です。

  • 探索するモデ​​ルは、分類、回帰、または予測APIを使用したTensorFlow Servingを使用して提供する必要があります。
  • モデルによって推論されるデータセットは、TensorBoardウェブサーバーがアクセスできるTFRecordファイルにある必要があります。

使用法

TensorBoardでWhat-Ifツールダッシュボードを開くと、モデルサーバーのホストとポート、提供されるモデルの名前、モデルのタイプ、およびTFRecordsファイルへのパスを指定するセットアップ画面が表示されます負荷。この情報を入力して[同意する]をクリックすると、WITはデータセットを読み込み、モデルを使用して推論を実行し、結果を表示します。

WITのさまざまな機能の詳細と、それらがモデルの理解と公平性の調査にどのように役立つかについては、 What-IfツールのWebサイトのチュートリアルを参照してください。

デモモデルとデータセット

事前トレーニング済みのモデルを使用してTensorBoardでWITをテストする場合は、https://storage.googleapis.com/what-if-tool-resources/uci-censusから事前トレーニング済みのモデルとデータセットをダウンロードして解凍できます。 -demo / uci-census-demo.zipモデルは、 UCIの国勢調査データセットを使用して、人の年間収入が50ドルを超えるかどうかを予測するバイナリ分類モデルです。このデータセットと予測タスクは、機械学習モデリングと公平性調査でよく使用されます。

環境変数MODEL_PATHを、マシン上の結果のモデルディレクトリの場所に設定します。

公式ドキュメントに従って、DockerとTensorFlow Servingをインストールします

docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/servingます。 Dockerの設定によっては、 sudo使用してコマンドを実行する必要がある場合があります。

次にテンソルボードを起動し、ダッシュボードのドロップダウンを使用してWhat-Ifツールに移動します。

セットアップ画面で、推論アドレスを「localhost:8500」に、モデル名を「uci_income」に、例のパスをダウンロードしたadult.tfrecordファイルへのフルパスに設定し、「Accept」を押します。

デモの設定画面

このデモでWhat-Ifツールを試してみることには、次のようなものがあります。

  • 単一のデータポイントを編集して、推論の結果の変化を確認します。
  • データセット内の個々の特徴とモデルの推論結果の間の関係を、部分的な依存関係プロットを介して探索します。
  • データセットをサブセットにスライスし、スライス間のパフォーマンスを比較します。

ツールの機能の詳細については、 What-Ifツールのチュートリアルをご覧ください

このモデルが予測しようとしているデータセットのグラウンドトゥルースフィーチャーは「ターゲット」という名前であるため、「パフォーマンスと公平性」タブを使用する場合は、「ターゲット」をグラウンドトゥルースフィーチャーのドロップダウンで指定する必要があります。