Unisciti alla comunità SIG TFX-Addons e contribuisci a rendere TFX ancora migliore!

Componente della pipeline TFX ExampleValidator

Il componente pipeline ExampleValidator identifica le anomalie nell'addestramento e nell'elaborazione dei dati. Può rilevare diverse classi di anomalie nei dati. Ad esempio può:

  1. eseguire controlli di validità confrontando le statistiche dei dati con uno schema che codifica le aspettative dell'utente
  2. rilevare l'inclinazione dell'offerta di addestramento confrontando i dati sull'addestramento e sull'offerta.
  3. rilevare la deriva dei dati esaminando una serie di dati.

Il componente pipeline ExampleValidator identifica eventuali anomalie nei dati di esempio confrontando le statistiche dei dati calcolate dal componente pipeline StatisticsGen con uno schema. Lo schema dedotto codifica le proprietà che i dati di input dovrebbero soddisfare e possono essere modificati dallo sviluppatore.

  • Consume: uno schema da un componente SchemaGen e statistiche da un componente StatisticsGen.
  • Emette: risultati della convalida

ExampleValidator e TensorFlow Data Validation

ExampleValidator fa ampio uso di TensorFlow Data Validation per convalidare i dati di input.

Utilizzo del componente ExampleValidator

Un componente pipeline ExampleValidator è in genere molto facile da distribuire e richiede poca personalizzazione. Il codice tipico ha questo aspetto:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Maggiori dettagli sono disponibili nel riferimento API ExampleValidator .