序章
開発中にモデルを微調整するときは、変更によってモデルが改善されているかどうかを確認する必要があります。精度をチェックするだけでは不十分な場合があります。たとえば、インスタンスの95％が正である問題の分類子がある場合、常に正の値を予測するだけで精度を向上できる可能性がありますが、非常に堅牢な分類子はありません。
概要
TensorFlowモデル分析の目標は、TFXでのモデル評価のメカニズムを提供することです。 TensorFlow Model Analysisを使用すると、TFXパイプラインでモデル評価を実行し、結果のメトリックとプロットをJupyterノートブックで表示できます。具体的には、次のものを提供できます。
- トレーニングとホールドアウトのデータセット全体、および翌日の評価で計算された指標
- 時間の経過に伴うメトリックの追跡
- さまざまなフィーチャスライスでのモデル品質パフォーマンス
- モデルが一貫したパフォーマンスを維持することを保証するためのモデル検証
次のステップ
TFMAチュートリアルをお試しください。
サポートされているメトリックとプロット、および関連するノートブックの視覚化の詳細については、 githubページを確認してください。
スタンドアロンパイプラインでセットアップする方法の情報と例については、インストールガイドとスタートガイドを参照してください。 TFMAはTFXのEvaluatorコンポーネント内でも使用されるため、これらのリソースはTFXの開始にも役立ちます。