Entendimiento del modelo con el tablero de la herramienta What-If

Herramienta Y si ...

La herramienta What-If (WIT) proporciona una interfaz fácil de usar para ampliar la comprensión de los modelos de ML de regresión y clasificación de caja negra. Con el complemento, puede realizar inferencias en un gran conjunto de ejemplos y visualizar inmediatamente los resultados de diversas formas. Además, los ejemplos se pueden editar de forma manual o programática y volver a ejecutar a través del modelo para ver los resultados de los cambios. Contiene herramientas para investigar el rendimiento y la equidad del modelo en subconjuntos de un conjunto de datos.

El propósito de la herramienta es brindar a las personas una forma simple, intuitiva y poderosa de explorar e investigar modelos de aprendizaje automático entrenados a través de una interfaz visual que no requiere absolutamente ningún código.

Se puede acceder a la herramienta a través de TensorBoard o directamente en un cuaderno de Jupyter o Colab. Para más detalles en profundidad, demostraciones, recorridos de inspección, y la información específica para el uso de WIT en el modo de computadora portátil, consulte la página web What-If herramienta .

Requisitos

Para usar WIT en TensorBoard, se necesitan dos cosas:

  • El modelo (s) que desea explorar debe ser cumplida utilizando TensorFlow Sirviendo utilizando el clasificar, regresión, o predecir API.
  • El conjunto de datos a ser inferido por los modelos debe estar en un archivo TFRecord accesible por el servidor web TensorBoard.

Uso

Al abrir el panel de la herramienta Y si ... en TensorBoard, verá una pantalla de configuración en la que proporciona el host y el puerto del servidor modelo, el nombre del modelo que se ofrece, el tipo de modelo y la ruta al archivo TFRecords para carga. Después de completar esta información y hacer clic en "Aceptar", WIT cargará el conjunto de datos y ejecutará la inferencia con el modelo, mostrando los resultados.

Para más detalles sobre los diferentes rasgos de ingenio y cómo pueden ayudar en la comprensión de modelo y de investigaciones de equidad, ver el tutorial en el sitio web de Qué-Si la herramienta .

Modelo de demostración y conjunto de datos

Si quieres poner a prueba WIT en TensorBoard con un modelo de pre-formados, se puede descargar y descomprimir un modelo de pre-formado y conjunto de datos de https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip el modelo es un modelo de clasificación binaria que utiliza la UCI de censo conjunto de datos para predecir si una persona gana más de $ 50 kA años. Este conjunto de datos y tarea de predicción se utiliza a menudo en el modelado de aprendizaje automático y la investigación de equidad.

Establezca la variable de entorno MODEL_PATH en la ubicación del directorio del modelo resultante en su máquina.

Instalar ventana acoplable y TensorFlow Sirviendo a raíz de la documentación oficial .

Servir el modelo usando ventana acoplable a través docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . En cuenta que puede que tenga que ejecutar el comando con sudo dependiendo de la configuración de su cargador de muelle.

Ahora inicie tensorboard y use el menú desplegable del tablero para navegar hasta la herramienta Y si ...

En la pantalla de ajustes, asigne el adddress inferencia a "localhost: 8500", el nombre del modelo de "uci_income" y el camino a los ejemplos de la ruta completa al descargados adult.tfrecord archivo, a continuación, pulse el botón "Aceptar".

Pantalla de configuración para demostración

Algunas cosas para probar con la herramienta Y si ... en esta demostración incluyen:

  • Editar un solo punto de datos y ver el cambio resultante en la inferencia.
  • Explorar la relación entre las características individuales en el conjunto de datos y los resultados de la inferencia del modelo a través de gráficos de dependencia parcial.
  • Cortar el conjunto de datos en subconjuntos y comparar el rendimiento entre cortes.

Para una mirada en profundidad a las características de la herramienta, consulte el tutorial Qué-Si la herramienta .

Tenga en cuenta que la característica de verdad del terreno en el conjunto de datos que este modelo está tratando de predecir se llama "Objetivo", por lo que cuando use la pestaña "Rendimiento e imparcialidad", "Objetivo" es lo que querrá especificar en el menú desplegable de características de verdad del terreno.