本頁面由 Cloud Translation API 翻譯而成。
Switch to English

Improving Model Quality With TensorFlow Model Analysis

介紹

在開發過程中調整模型時,需要檢查所做的更改是否正在改善模型。僅檢查準確性可能還不夠。例如,如果您有一個問題的分類器,其中95%的實例是肯定的,則僅通過始終預測為肯定就可以提高準確性,但是您將沒有非常強大的分類器。

總覽

TensorFlow模型分析的目的是為TFX中的模型評估提供一種機制。 TensorFlow Model Analysis允許您在TFX管道中執行模型評估,並在Jupyter筆記本中查看結果度量和繪圖。具體來說,它可以提供:

  • 根據整個培訓和堅持數據集計算的指標,以及次日評估
  • 隨時間跟踪指標
  • 在不同特徵切片上的模型質量性能

從模型中導出EvalSavedModel

為了在TFX管道中設置TensorFlow模型分析,需要在訓練期間導出EvalSavedModel,這是一種特殊的SavedModel,其中包含模型中指標,功能,標籤等的註釋。 TensorFlow模型分析使用此EvalSavedModel計算指標。

作為此過程的一部分,您將必須提供一個特殊的eval_input_receiver_fn ,類似於serving_input_receiver_fn ,它將從輸入數據中提取特徵和標籤。與serving_input_receiver_fn ,我們具有實用程序功能來幫助您。在大多數情況下,您將不得不添加少於20行的代碼。

Jupyter筆記本中的可視化

評估結果在Jupyter筆記本中可視化。

評估標籤

用戶界面由三部分組成:

  • 指標選擇器

    默認情況下,將顯示所有計算的指標,並且按字母順序對列進行排序。指標選擇器允許用戶添加/刪除/重新排序指標。只需從下拉菜單中選中/取消選中指標(按住Ctrl即可進行多選),或者直接在輸入框中輸入/重新排列它們。

    公制選擇器

  • 時間序列圖

    時間序列圖可輕鬆發現數據跨度或模型運行中特定指標的趨勢。要為感興趣的指標呈現圖形,只需從下拉列表中單擊它即可。要關閉圖形,請單擊右上角的X。

    樣本時間序列圖

    將鼠標懸停在圖形中的任何數據點上都會顯示工具提示,指示模型運行,數據范圍和度量標準值。

  • 指標表

    指標表匯總了指標選擇器中選擇的所有指標的結果。可以通過單擊度量標準名稱對其進行排序。

切片指標選項卡

切片指標標籤顯示了特定評估運行的不同切片的執行情況。請選擇所需的配置(評估,功能等),然後單擊刷新。

該URL將在刷新時更新,並包含對所選配置進行編碼的深層鏈接。可以共享。

用戶界面由三部分組成:

  • 指標選擇器

    往上看。

  • 公制可視化

    度量可視化旨在提供有關所選要素中的切片的直覺。快速過濾可用於過濾加權樣本數少的切片。

    樣本過濾視圖

    支持兩種類型的可視化:

    1. 切片概述

      在此視圖中,為每個切片呈現選定度量的值,並且可以按切片名稱或另一個度量的值對切片進行排序。

      樣品切片概述

      當切片數較少時,這是默認視圖。

    2. 指標直方圖

      在此視圖中,切片根據其指標值細分為存儲桶。每個存儲桶中顯示的值可以是存儲桶中的切片數,也可以是存儲桶中所有切片的總加權樣本計數,或兩者都有。

      樣本指標直方圖

      單擊齒輪圖標,可以更改鏟斗數,並且可以在設置菜單中應用對數刻度。

      更改指標直方圖設置

      也可以在直方圖視圖中濾除異常值。只需在直方圖中拖動所需的範圍即可,如下面的屏幕截圖所示。

      篩選指標直方圖

      當切片數很大時,這是默認視圖。

  • 指標表

    將僅渲染未過濾掉的切片。可以通過單擊列標題進行排序。