ExampleValidator ardışık düzen bileşeni, eğitim ve veri sunumundaki anormallikleri tanımlar. Verilerdeki farklı anormallik sınıflarını tespit edebilir. Örneğin şunları yapabilir:
- Veri istatistiklerini kullanıcının beklentilerini kodlayan bir şemayla karşılaştırarak geçerlilik kontrolleri gerçekleştirin
- eğitim ve sunum verilerini karşılaştırarak eğitim sunumundaki çarpıklığı tespit edin.
- bir dizi veriye bakarak veri kaymasını tespit edin.
ExampleValidator işlem hattı bileşeni, StatisticsGen işlem hattı bileşeni tarafından hesaplanan veri istatistiklerini bir şemayla karşılaştırarak örnek verilerdeki herhangi bir anormalliği tanımlar. Çıkarılan şema, girdi verilerinin karşılaması beklenen özellikleri kodlar ve geliştirici tarafından değiştirilebilir.
- Tüketim: SchemaGen bileşeninden bir şema ve bir StatisticsGen bileşeninden istatistikler.
- Yayımlar: Doğrulama sonuçları
ExampleValidator ve TensorFlow Veri Doğrulaması
ExampleValidator, giriş verilerinizi doğrulamak için TensorFlow Veri Doğrulamasını kapsamlı bir şekilde kullanır.
ExampleValidator Bileşenini Kullanma
Bir ExampleValidator işlem hattı bileşeninin dağıtımı genellikle çok kolaydır ve çok az özelleştirme gerektirir. Tipik kod şuna benzer:
from tfx import components
...
validate_stats = components.ExampleValidator(
statistics=compute_eval_stats.outputs['statistics'],
schema=infer_schema.outputs['schema']
)