このページは Cloud Translation API によって翻訳されました。
Switch to English

TensorFlowモデル分析によるモデル品質の向上

前書き

開発中にモデルを微調整するとき、変更によってモデルが改善されているかどうかを確認する必要があります。正確さを確認するだけでは十分でない場合があります。たとえば、インスタンスの95%が陽性である問題の分類子がある場合、常に陽性を予測するだけで精度を改善できる可能性がありますが、非常に堅牢な分類子はありません。

概観

TensorFlowモデル分析の目標は、TFXでモデルを評価するためのメカニズムを提供することです。 TensorFlowモデル分析を使用すると、TFXパイプラインでモデル評価を実行し、Jupyterノートブックで結果のメトリックとプロットを表示できます。具体的には、以下を提供できます。

  • トレーニングとホールドアウトのデータセット全体で計算された指標、および翌日の評価
  • 時間の経過に伴うメトリックの追跡
  • 異なる機能スライスでのモデル品質パフォーマンス

モデルからのEvalSavedModelのエクスポート

TFXパイプラインでTensorFlowモデル分析をセットアップするには、トレーニング中にEvalSavedModelをエクスポートする必要があります。これは、モデル内のメトリック、機能、ラベルなどの注釈を含む特別なSavedModelです。 TensorFlowモデル分析は、このEvalSavedModelを使用してメトリックを計算します。

その一環として、あなたは特別な提供する必要がありますeval_input_receiver_fnに類似し、 serving_input_receiver_fn入力データから特徴やラベルを抽出します。 serving_input_receiver_fnserving_input_receiver_fn 、これを支援するユーティリティ関数があります。ほとんどの場合、20行未満のコードを追加する必要があります。

Jupyterノートブックでの視覚化

評価結果はJupyterノートブックで視覚化されます。

評価タブ

UIは3つの部分で構成されています。

  • 指標セレクター

    デフォルトでは、計算されたすべてのメトリックが表示され、列はアルファベット順にソートされます。指標セレクターにより、ユーザーは指標を追加/削除/並べ替えることができます。ドロップダウンからメトリックをチェック/チェック解除するか(Ctrlを押しながら複数選択)、または入力ボックスに直接入力/再配置します。

    指標セレクター

  • 時系列グラフ

    時系列グラフを使用すると、データスパンまたはモデルの実行における特定のメトリックの傾向を簡単に特定できます。関心のあるメトリックのグラフを表示するには、ドロップダウンリストからそれをクリックするだけです。グラフを閉じるには、右上隅のXをクリックします。

    時系列グラフの例

    グラフのデータポイントにカーソルを合わせると、モデルの実行、データスパン、およびメトリック値を示すツールチップが表示されます。

  • メトリック表

    メトリック表は、メトリックセレクターで選択されたすべてのメトリックの結果を要約します。メトリック名をクリックしてソートできます。

スライスメトリクスタブ

[スライスメトリック]タブには、特定の評価実行のさまざまなスライスのパフォーマンスが表示されます。目的の構成(評価、機能など)を選択して、[更新]をクリックしてください。

URLは更新時に更新され、選択した構成をエンコードするディープリンクが含まれています。共有できます。

UIは3つの部分で構成されています。

  • 指標セレクター

    上記を参照。

  • メトリックの視覚化

    メトリックの視覚化は、選択した機能のスライスに関する直感を提供することを目的としています。重み付けされたサンプル数が少ないスライスをフィルタリングするために、クイックフィルタリングを使用できます。

    フィルターされたビューの例

    2つのタイプの視覚化がサポートされています。

    1. スライスの概要

      このビューでは、選択したメトリックの値がスライスごとにレンダリングされ、スライスはスライス名または別のメトリックの値でソートできます。

      サンプルスライスの概要

      スライスの数が少ない場合、これがデフォルトのビューです。

    2. メトリックヒストグラム

      このビューでは、スライスはメトリック値に基づいてバケットに分割されます。各バケットに表示される値は、バケット内のスライスの数、バケット内のすべてのスライスの合計の加重サンプル数、またはその両方です。

      サンプルメトリックヒストグラム

      歯車のアイコンをクリックすると、バケットの数を変更したり、設定メニューで対数スケールを適用したりできます。

      メトリックヒストグラム設定の変更

      ヒストグラムビューで外れ値をフィルタリングすることもできます。以下のスクリーンショットに示すように、ヒストグラムの目的の範囲をドラッグするだけです。

      フィルターされたメトリックヒストグラム

      スライスの数が多い場合、これがデフォルトのビューです。

  • メトリック表

    フィルタリングされていないスライスのみがレンダリングされます。列のヘッダーをクリックして並べ替えることができます。