本頁面由 Cloud Translation API 翻譯而成。
Switch to English

使用假設工具儀表板進行模型理解

假設工具

假設工具(WIT)提供了易於使用的界面,用於擴展對黑盒分類和回歸ML模型的理解。使用該插件,您可以對大量示例進行推斷,並以各種方式立即可視化結果。此外,可以手動或以編程方式編輯示例,然後在模型中重新運行示例以查看更改結果。它包含用於調查數據集子集的模型性能和公平性的工具。

該工具的目的是為人們提供一種簡單,直觀且功能強大的方法,通過視覺界面,無需任何代碼,即可探索和研究經過訓練的ML模型。

可以通過TensorBoard或直接在Jupyter或Colab筆記本中訪問該工具。有關在筆記本電腦模式下使用WIT的更多詳細信息,演示,演練和信息,請訪問“假設工具”網站

要求

要在TensorBoard中使用WIT,需要做兩件事:

  • 您希望探索的模型必須使用TensorFlow Serving服務,並使用分類,回歸或預測API。
  • 要由模型推斷的數據集必須位於TensorBoard Web服務器可訪問的TFRecord文件中。

用法

在TensorBoard中打開``假設工具''儀表板時,您將看到一個設置屏幕,在其中提供模型服務器的主機和端口,提供的模型名稱,模型類型以及TFRecords文件的路徑加載。填寫完此信息並單擊“接受”後,WIT將加載數據集並對模型進行推斷,並顯示結果。

有關WIT的不同功能的詳細信息以及它們如何幫助模型理解和公平性調查,請參閱假設工具網站上的演練。

演示模型和數據集

如果您想使用預訓練的模型在TensorBoard中測試WIT,則可以從https://storage.googleapis.com/what-if-tool-resources/uci-census下載並解壓縮預訓練的模型和數據集-demo / uci-census-demo.zip該模型是一個二進制分類模型,該模型使用UCI人口普查數據集預測某人的年收入是否超過50ka。該數據集和預測任務通常用於機器學習建模和公平性研究中。

將環境變量MODEL_PATH設置為計算機上生成的模型目錄的位置。

按照官方文檔安裝docker和TensorFlow Serving。

通過docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 。請注意,根據您的docker設置,您可能需要使用sudo運行命令。

現在啟動tensorboard並使用儀表板下拉菜單導航至假設工具。

在設置屏幕上,將推理地址設置為“ localhost:8500”,將模型名稱設置為“ uci_income”,並將示例的路徑設置為已下載的adult.tfrecord文件的完整路徑,然後按“接受”。

演示的設置屏幕

在此演示中使用“假設工具”可以嘗試以下操作:

  • 編輯單個數據點並查看推斷的結果變化。
  • 通過偏相關圖探索數據集中各個特徵與模型推斷結果之間的關係。
  • 將數據集切片為子集,然後比較切片之間的性能。

要深入了解工具的功能,請查看“ 假設工具”演練

請注意,此模型試圖預測的數據集中的地面真實特徵稱為“目標”,因此,在使用“性能和公平性”選項卡時,將要在地面真實特徵下拉列表中指定“目標”。