Bergabunglah dengan TensorFlow di Google I/O, 11-12 Mei Daftar sekarang

Komponen Pipeline TFX ExampleValidator

Komponen pipeline ExampleValidator mengidentifikasi anomali dalam pelatihan dan penyajian data. Itu dapat mendeteksi berbagai kelas anomali dalam data. Misalnya bisa:

  1. melakukan pemeriksaan validitas dengan membandingkan statistik data dengan skema yang mengkodifikasi harapan pengguna
  2. mendeteksi kemiringan penyajian pelatihan dengan membandingkan data pelatihan dan penyajian.
  3. mendeteksi penyimpangan data dengan melihat serangkaian data.

Komponen pipeline ExampleValidator mengidentifikasi anomali apa pun dalam data contoh dengan membandingkan statistik data yang dihitung oleh komponen pipeline StatisticsGen dengan skema. Skema yang disimpulkan mengkodifikasi properti yang diharapkan dapat dipenuhi oleh data input, dan dapat dimodifikasi oleh pengembang.

  • Konsumsi: Skema dari komponen SchemaGen, dan statistik dari komponen StatisticsGen.
  • Memancarkan: Hasil validasi

Contoh Validator dan Validasi Data TensorFlow

ExampleValidator membuat ekstensif menggunakan TensorFlow Validasi Data untuk memvalidasi data masukan Anda.

Menggunakan Komponen ExampleValidator

Komponen pipeline ExampleValidator biasanya sangat mudah diterapkan dan memerlukan sedikit penyesuaian. Kode khas terlihat seperti ini:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Keterangan lebih lanjut tersedia dalam referensi ExampleValidator API .