Treten Sie der SIG TFX-Addons-Community bei und helfen Sie mit, TFX noch besser zu machen! SIG TFX-Addons beitreten

Die TFV-Pipeline-Komponente ExampleValidator

Die Pipeline-Komponente ExampleValidator identifiziert Anomalien beim Trainieren und Bereitstellen von Daten. Es kann verschiedene Klassen von Anomalien in den Daten erkennen. Zum Beispiel kann es:

  1. Führen Sie Gültigkeitsprüfungen durch, indem Sie Datenstatistiken mit einem Schema vergleichen, das die Erwartungen des Benutzers kodifiziert
  2. Erkennen Sie Trainingsversatzversuche, indem Sie Trainings- und Serving-Daten vergleichen.
  3. Erkennen Sie die Datendrift anhand einer Reihe von Daten.

Die Pipeline-Komponente ExampleValidator identifiziert alle Anomalien in den Beispieldaten, indem sie die von der Pipeline-Komponente StatisticsGen berechneten Datenstatistiken mit einem Schema vergleicht. Das abgeleitete Schema kodiert Eigenschaften, die von den Eingabedaten erwartet werden, und kann vom Entwickler geändert werden.

  • Verbrauch: Ein Schema aus einer SchemaGen-Komponente und Statistiken aus einer StatisticsGen-Komponente.
  • Emits: Validierungsergebnisse

ExampleValidator- und TensorFlow-Datenvalidierung

ExampleValidator verwendet die TensorFlow- Datenvalidierung in großem Umfang zur Validierung Ihrer Eingabedaten.

Verwenden der ExampleValidator-Komponente

Eine ExampleValidator-Pipelinekomponente ist normalerweise sehr einfach bereitzustellen und erfordert nur wenige Anpassungen. Typischer Code sieht folgendermaßen aus:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Weitere Details finden Sie in der ExampleValidator-API-Referenz .