Se usó la API de Cloud Translation para traducir esta página.
Switch to English

Mejora de la calidad del modelo con el análisis del modelo TensorFlow

Introducción

A medida que modifica su modelo durante el desarrollo, debe verificar si sus cambios están mejorando su modelo. Solo verificar la precisión puede no ser suficiente. Por ejemplo, si tiene un clasificador para un problema en el que el 95% de sus instancias son positivas, es posible que pueda mejorar la precisión simplemente prediciendo siempre positivo, pero no tendrá un clasificador muy robusto.

Visión general

El objetivo del análisis del modelo TensorFlow es proporcionar un mecanismo para la evaluación del modelo en TFX. El análisis de modelo de TensorFlow le permite realizar evaluaciones de modelo en la tubería TFX y ver las métricas y los gráficos resultantes en un cuaderno Jupyter. Específicamente, puede proporcionar:

  • métricas calculadas en todo el conjunto de datos de entrenamiento y reserva, así como las evaluaciones del día siguiente
  • seguimiento de métricas a lo largo del tiempo
  • rendimiento de calidad del modelo en diferentes segmentos de características

Exportar el modelo EvalSaved de su modelo

Para configurar el análisis del modelo TensorFlow en una tubería TFX, se debe exportar un modelo EvalSaved durante el entrenamiento, que es un modelo guardado especial que contiene anotaciones para las métricas, características, etiquetas, etc. en su modelo. TensorFlow Model Analysis utiliza este EvalSavedModel para calcular las métricas.

Como parte de esto, deberá proporcionar un eval_input_receiver_fn especial, análogo al serving_input_receiver_fn , que extraerá las características y etiquetas de los datos de entrada. Al igual que serving_input_receiver_fn , tenemos funciones de utilidad para ayudarlo con esto. En la mayoría de los casos, deberá agregar menos de 20 líneas de código.

Visualización en un cuaderno Jupyter

Los resultados de la evaluación se visualizan en un cuaderno Jupyter.

Pestaña Evaluaciones

La interfaz de usuario se compone de tres partes:

  • Selector de métricas

    Por defecto, se muestran todas las métricas calculadas y las columnas se ordenan alfabéticamente. El selector de métricas le permite al usuario agregar / eliminar / reordenar métricas. Simplemente marque / desmarque las métricas del menú desplegable (mantenga presionada la tecla Ctrl para selección múltiple) o escríbalas / reorganícelas directamente en el cuadro de entrada.

    Selector métrico

  • Gráficos de series de tiempo

    Los gráficos de series de tiempo facilitan la detección de tendencias de una métrica específica en tramos de datos o ejecuciones de modelos. Para representar el gráfico de la métrica interesada, simplemente haga clic en él en la lista desplegable. Para descartar un gráfico, haga clic en la X en la esquina superior derecha.

    Gráfico de series de tiempo de muestra

    Al pasar el mouse sobre cualquier punto de datos en el gráfico, se muestra información sobre herramientas que indica la ejecución del modelo, el intervalo de datos y el valor de la métrica.

  • Tabla de métricas

    La tabla de métricas resume los resultados de todas las métricas elegidas en el selector de métricas. Se puede ordenar haciendo clic en el nombre de la métrica.

Pestaña Métricas de corte

La pestaña de métricas de corte muestra cómo funcionan los diferentes segmentos de una ejecución de evaluación particular. Elija la configuración deseada (evaluación, función, etc.) y haga clic en actualizar.

La URL se actualiza al actualizar y contiene un enlace profundo que codifica la configuración elegida. Se puede compartir.

La interfaz de usuario se compone de tres partes:

  • Selector de métricas

    Véase más arriba.

  • Visualización métrica

    La visualización métrica tiene como objetivo proporcionar una intuición sobre los cortes en la función elegida. Está disponible un filtrado rápido para filtrar rebanadas con un pequeño recuento de muestras ponderado.

    Vista filtrada de muestra

    Se admiten dos tipos de visualizaciones:

    1. Resumen de rebanada

      En esta vista, el valor de la métrica elegida se representa para cada segmento y los segmentos se pueden ordenar por el nombre del segmento o el valor de otro indicador.

      Resumen de corte de muestra

      Cuando el número de sectores es pequeño, esta es la vista predeterminada.

    2. Histograma de métricas

      En esta vista, los sectores se dividen en segmentos en función de sus valores métricos. Los valores que se muestran en cada segmento pueden ser el número de sectores en el grupo o el recuento ponderado total de muestras para todos los sectores en el grupo o ambos.

      Ejemplo de histograma de métricas

      El número de cubos se puede cambiar y la escala logarítmica se puede aplicar en el menú de configuración haciendo clic en el icono de engranaje.

      Cambiar la configuración del histograma de métricas

      También es posible filtrar valores atípicos en la vista de histograma. Simplemente arrastre el rango deseado en el histograma como se muestra en la captura de pantalla a continuación.

      Histograma de métricas filtradas

      Cuando el número de sectores es grande, esta es la vista predeterminada.

  • Tabla de métricas

    Solo se procesarán los cortes no filtrados. Se puede ordenar haciendo clic en el encabezado de una columna.