評価の実行の出力はtfma.EvalResult
であり、 tfma.view.render_slicing_metrics
(またはプロットの場合はtfma.view.render_plot
)を呼び出すことでJupyterノートブックで視覚化できます。
メトリクスビュー
メトリックを表示するには、 tfma.view.render_slicing_metrics
APIを使用して、評価の実行から出力されたtfma.EvalResult
を渡します。メトリックビューは、次の3つの部分で構成されています。
メトリックセレクタ
デフォルトでは、計算されたすべてのメトリックが表示され、列はアルファベット順にソートされます。メトリックセレクターを使用すると、ユーザーはメトリックを追加/削除/並べ替えることができます。ドロップダウンからメトリックをチェック/チェック解除するか(複数選択するにはCtrlキーを押したまま)、入力ボックスに直接入力/再配置します。
メトリックの視覚化
メトリックの視覚化は、選択した機能のスライスに関する直感を提供することを目的としています。クイックフィルタリングを使用して、重み付けされたサンプル数が少ないスライスを除外できます。
次の2種類の視覚化がサポートされています。
スライスの概要
このビューでは、選択したメトリックの値がスライスごとにレンダリングされ、スライスはスライス名または別のメトリックの値で並べ替えることができます。
スライス数が少ない場合は、これがデフォルトのビューです。
メトリックヒストグラム
このビューでは、スライスはメトリック値に基づいてバケットに分割されます。各バケットに表示される値は、バケット内のスライス数、バケット内のすべてのスライスの加重サンプル総数、またはその両方です。
歯車のアイコンをクリックすると、設定メニューでバケットの数を変更したり、対数目盛を適用したりできます。
ヒストグラムビューで外れ値を除外することもできます。下のスクリーンショットに示すように、ヒストグラムで目的の範囲をドラッグするだけです。
スライス数が多い場合は、これがデフォルトのビューです。
指標表
メトリックテーブルは、メトリックセレクタで選択されたすべてのメトリックの結果をまとめたものです。メトリック名をクリックして並べ替えることができます。フィルターで除外されていないスライスのみがレンダリングされます。
ビューをプロット
各プロットには、プロットに固有の独自の視覚化があります。詳細については、プロットクラスに関連するAPIドキュメントを参照してください。 TFMAでは、プロットとメトリックの両方がtfma.metrics.*
慣例により、プロットに関連するクラスはPlot
で終わります。プロットを表示するには、 tfma.view.render_plot
APIを使用して、評価の実行から出力されたtfma.EvalResult
を渡します。
時系列グラフ
時系列グラフを使用すると、データスパンまたはモデルの実行全体にわたる特定のメトリックの傾向を簡単に見つけることができます。時系列グラフを作成するには、複数の評価を実行し(出力を異なるディレクトリに保存し)、 tfma.load_eval_results
を呼び出してそれらをtfma.EvalResults
オブジェクトにロードします。結果は、 tfma.view.render_time_series
を使用して表示できます。
特定のメトリックのグラフを表示するには、ドロップダウンリストからそのグラフをクリックするだけです。グラフを閉じるには、右上隅のXをクリックします。
グラフの任意のデータポイントにカーソルを合わせると、モデルの実行、データスパン、およびメトリック値を示すツールチップが表示されます。