Điều phối đường ống TFX, Điều phối đường ống TFX

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Apache Beam

Một số thành phần TFX dựa vào Beam để xử lý dữ liệu phân tán. Ngoài ra, TFX có thể sử dụng Apache Beam để điều phối và thực thi DAG đường ống. Beam orchestrator sử dụng BeamRunner khác với BeamRunner được sử dụng để xử lý dữ liệu thành phần. Với thiết lập DirectRunner mặc định, bộ điều phối Beam có thể được sử dụng để gỡ lỗi cục bộ mà không phát sinh thêm phụ thuộc Luồng khí hoặc Kubeflow, giúp đơn giản hóa cấu hình hệ thống.

Xem ví dụ TFX trên Beam để biết thêm chi tiết.

,

Apache Beam

Một số thành phần TFX dựa vào Beam để xử lý dữ liệu phân tán. Ngoài ra, TFX có thể sử dụng Apache Beam để điều phối và thực thi DAG đường ống. Beam orchestrator sử dụng BeamRunner khác với BeamRunner được sử dụng để xử lý dữ liệu thành phần. Với thiết lập DirectRunner mặc định, bộ điều phối Beam có thể được sử dụng để gỡ lỗi cục bộ mà không phát sinh thêm phụ thuộc Luồng khí hoặc Kubeflow, giúp đơn giản hóa cấu hình hệ thống.

Xem ví dụ TFX trên Beam để biết thêm chi tiết.