El componente de canalización ExampleValidator TFX

El componente de canalización ExampleValidator identifica anomalías en el entrenamiento y la entrega de datos. Puede detectar diferentes clases de anomalías en los datos. Por ejemplo, puede:

  1. realizar comprobaciones de validez comparando estadísticas de datos con un esquema que codifica las expectativas del usuario
  2. Detecte el sesgo de servicio-entrenamiento comparando datos de entrenamiento y servicio.
  3. detectar la deriva de datos mirando una serie de datos.

El componente de canalización ExampleValidator identifica cualquier anomalía en los datos de ejemplo comparando las estadísticas de datos calculadas por el componente de canalización de StatisticsGen con un esquema. El esquema inferido codifica las propiedades que se espera que satisfagan los datos de entrada y que el desarrollador puede modificar.

  • Consume: un esquema de un componente SchemaGen y estadísticas de un componente StatisticsGen.
  • Emite: resultados de validación

Validación de datos ExampleValidator y TensorFlow

ExampleValidator hace un amplio uso de TensorFlow validación de datos para la validación de los datos de entrada.

Uso del componente ExampleValidator

Un componente de canalización ExampleValidator suele ser muy fácil de implementar y requiere poca personalización. El código típico tiene este aspecto:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Más detalles están disponibles en la referencia de la API ExampleValidator .