Il componente della pipeline TFX di ExampleValidator

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Il componente della pipeline ExampleValidator identifica le anomalie nell'addestramento e nell'elaborazione dei dati. Può rilevare diverse classi di anomalie nei dati. Ad esempio può:

  1. eseguire controlli di validità confrontando le statistiche dei dati con uno schema che codifica le aspettative dell'utente.
  2. rilevare l'asimmetria dell'offerta di addestramento confrontando i dati di addestramento e di offerta.
  3. rilevare la deriva dei dati osservando una serie di dati.
  4. eseguire convalide personalizzate utilizzando una configurazione basata su SQL.

Il componente della pipeline ExampleValidator identifica eventuali anomalie nei dati di esempio confrontando le statistiche dei dati calcolate dal componente della pipeline StatisticsGen con uno schema. Lo schema dedotto codifica le proprietà che i dati di input dovrebbero soddisfare e può essere modificato dallo sviluppatore.

  • Consuma: uno schema da un componente SchemaGen e statistiche da un componente StatisticsGen.
  • Emette: risultati di convalida

EsempioValidator e convalida dei dati TensorFlow

ExampleValidator fa ampio uso di TensorFlow Data Validation per convalidare i dati di input.

Utilizzo del componente ExampleValidator

Un componente della pipeline ExampleValidator è in genere molto facile da distribuire e richiede poca personalizzazione. Il codice tipico è simile a questo:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Ulteriori dettagli sono disponibili nel riferimento all'API ExampleValidator .