Se usó la API de Cloud Translation para traducir esta página.
Switch to English

Modelo de comprensión con el cuadro de instrumentos de herramientas What-If

Herramienta What-If

La herramienta What-If Tool (WIT) proporciona una interfaz fácil de usar para ampliar la comprensión de los modelos de ML de regresión y clasificación de caja negra. Con el complemento, puede realizar inferencias en un gran conjunto de ejemplos y visualizar de inmediato los resultados de varias maneras. Además, los ejemplos pueden editarse manualmente o mediante programación y volver a ejecutarse a través del modelo para ver los resultados de los cambios. Contiene herramientas para investigar el rendimiento del modelo y la equidad en los subconjuntos de un conjunto de datos.

El propósito de la herramienta es brindar a las personas una forma simple, intuitiva y poderosa de explorar e investigar modelos ML capacitados a través de una interfaz visual sin absolutamente ningún código requerido.

Se puede acceder a la herramienta a través de TensorBoard o directamente en un cuaderno Jupyter o Colab. Para obtener detalles más detallados, demostraciones, tutoriales e información específica sobre el uso de WIT en modo portátil, consulte el sitio web de la herramienta What-If Tool .

Requisitos

Para usar WIT en TensorBoard, se necesitan dos cosas:

  • El modelo (s) que desea explorar debe ser servido usando TensorFlow Serving usando la API de clasificación, regresión o predicción.
  • El conjunto de datos a inferir por los modelos debe estar en un archivo TFRecord accesible por el servidor web TensorBoard.

Uso

Al abrir el panel de herramientas What-If Tool en TensorBoard, verá una pantalla de configuración en la que proporciona el host y el puerto del servidor modelo, el nombre del modelo que se sirve, el tipo de modelo y la ruta al archivo TFRecords para carga. Después de completar esta información y hacer clic en "Aceptar", WIT cargará el conjunto de datos y ejecutará la inferencia con el modelo, mostrando los resultados.

Para obtener detalles sobre las diferentes características de WIT y cómo pueden ayudar en la comprensión del modelo y las investigaciones de equidad, consulte el tutorial en el sitio web de la herramienta What-If Tool .

Modelo de demostración y conjunto de datos

Si desea probar WIT en TensorBoard con un modelo previamente entrenado, puede descargar y descomprimir un modelo y conjunto de datos previamente entrenado desde https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip El modelo es un modelo de clasificación binaria que utiliza el conjunto de datos del Censo UCI para predecir si una persona gana más de $ 50ka al año. Este conjunto de datos y la tarea de predicción a menudo se utilizan en el modelado de aprendizaje automático y la investigación de equidad.

Establezca la variable de entorno MODEL_PATH en la ubicación del directorio del modelo resultante en su máquina.

Instale Docker y TensorFlow Serving siguiendo la documentación oficial .

Sirva el modelo usando Docker a través de docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Tenga en cuenta que es posible que deba ejecutar el comando con sudo según la configuración de su ventana acoplable.

Ahora inicie el tensorboard y use el menú desplegable del tablero para navegar a la herramienta What-If Tool.

En la pantalla de configuración, configure la dirección de inferencia en "localhost: 8500", el nombre del modelo en "uci_income" y la ruta de los ejemplos a la ruta completa al archivo adult.tfrecord descargado, luego presione "Aceptar".

Pantalla de configuración para demostración

Algunas cosas para probar con la herramienta What-If Tool en esta demostración incluyen:

  • Editar un único punto de datos y ver el cambio resultante en la inferencia.
  • Explorando la relación entre las características individuales en el conjunto de datos y los resultados de inferencia del modelo a través de gráficos de dependencia parcial.
  • Cortar el conjunto de datos en subconjuntos y comparar el rendimiento entre sectores.

Para una mirada en profundidad a las características de la herramienta, consulte el tutorial de la herramienta Qué pasa si .

Tenga en cuenta que la característica de verdad fundamental en el conjunto de datos que este modelo está tratando de predecir se denomina "Objetivo", por lo que cuando utilice la pestaña "Rendimiento y equidad", "Objetivo" es lo que querrá especificar en el menú desplegable de la característica de verdad fundamental.