此页面由 Cloud Translation API 翻译。
Switch to English

使用假设工具仪表板进行模型理解

假设工具

假设工具(WIT)提供了易于使用的界面,用于扩展对黑盒分类和回归ML模型的理解。使用该插件,您可以对大量示例进行推断,并以各种方式立即可视化结果。此外,可以手动或以编程方式编辑示例,然后在模型中重新运行示例以查看更改结果。它包含用于调查数据集子集的模型性能和公平性的工具。

该工具的目的是为人们提供一种简单,直观且功能强大的方法,通过视觉界面,无需任何代码,即可探索和研究经过训练的ML模型。

可以通过TensorBoard或直接在Jupyter或Colab笔记本中访问该工具。有关在笔记本电脑模式下使用WIT的更多详细信息,演示,演练和信息,请访问“假设工具”网站

要求

要在TensorBoard中使用WIT,需要做两件事:

  • 您希望探索的模型必须使用TensorFlow Serving服务,并使用分类,回归或预测API。
  • 要由模型推断的数据集必须位于TensorBoard Web服务器可访问的TFRecord文件中。

用法

在TensorBoard中打开``假设工具''仪表板时,您将看到一个设置屏幕,在其中提供模型服务器的主机和端口,提供的模型名称,模型类型以及TFRecords文件的路径加载。填写完此信息并单击“接受”后,WIT将加载数据集并对模型进行推断,并显示结果。

有关WIT的不同功能的详细信息以及它们如何帮助模型理解和公平性调查,请参阅假设工具网站上的演练。

演示模型和数据集

如果您想使用预训练的模型在TensorBoard中测试WIT,则可以从https://storage.googleapis.com/what-if-tool-resources/uci-census下载并解压缩预训练的模型和数据集-demo / uci-census-demo.zip该模型是一个二进制分类模型,该模型使用UCI人口普查数据集预测一个人的年收入是否超过50ka。该数据集和预测任务通常用于机器学习建模和公平性研究中。

将环境变量MODEL_PATH设置为计算机上生成的模型目录的位置。

按照官方文档安装docker和TensorFlow Serving。

通过docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 。请注意,根据您的docker设置,您可能需要使用sudo运行命令。

现在启动tensorboard并使用仪表板下拉菜单导航至假设工具。

在设置屏幕上,将推理地址设置为“ localhost:8500”,将模型名称设置为“ uci_income”,并将示例的路径设置为已下载的adult.tfrecord文件的完整路径,然后按“接受”。

演示的设置屏幕

在此演示中使用“假设工具”可以尝试以下操作:

  • 编辑单个数据点并查看推断的结果变化。
  • 通过偏相关图探索数据集中各个特征与模型推断结果之间的关系。
  • 将数据集切片为子集,然后比较切片之间的性能。

要深入了解工具的功能,请查看“ 假设工具”演练

请注意,此模型尝试预测的数据集中的地面真实特征称为“目标”,因此,在使用“性能和公平性”选项卡时,将要在地面真实特征下拉列表中指定“目标”。