Thành phần đường ống TFX của ExampleValidator

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Thành phần đường dẫn ExampleValidator xác định các điểm bất thường trong dữ liệu đào tạo và cung cấp. Nó có thể phát hiện các lớp bất thường khác nhau trong dữ liệu. Ví dụ: nó có thể:

  1. thực hiện kiểm tra tính hợp lệ bằng cách so sánh thống kê dữ liệu với lược đồ mã hóa kỳ vọng của người dùng.
  2. phát hiện độ lệch phục vụ đào tạo bằng cách so sánh dữ liệu đào tạo và phục vụ.
  3. phát hiện dữ liệu trôi bằng cách xem xét một loạt dữ liệu.
  4. thực hiện xác thực tùy chỉnh bằng cách sử dụng cấu hình dựa trên SQL.

Thành phần đường dẫn ExampleValidator xác định bất kỳ điểm bất thường nào trong dữ liệu mẫu bằng cách so sánh số liệu thống kê dữ liệu được tính toán bởi thành phần đường ống StatisticsGen với một giản đồ. Lược đồ được suy luận mã hóa các thuộc tính mà dữ liệu đầu vào dự kiến ​​sẽ đáp ứng và có thể được nhà phát triển sửa đổi.

  • Consumes: Một lược đồ từ thành phần SchemaGen và số liệu thống kê từ thành phần StatisticsGen.
  • Phát thải: Kết quả xác thực

Xác thực dữ liệu ExampleValidator và TensorFlow

ExampleValidator sử dụng rộng rãi Xác thực dữ liệu TensorFlow để xác thực dữ liệu đầu vào của bạn.

Sử dụng Thành phần ExampleValidator

Thành phần đường dẫn ExampleValidator thường rất dễ triển khai và yêu cầu ít tùy chỉnh. Mã điển hình trông như thế này:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

Thông tin chi tiết có sẵn trong tài liệu tham khảo API ExampleValidator .