टीएफएक्स पाइपलाइनों को व्यवस्थित करना

संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

कस्टम ऑर्केस्ट्रेटर

TFX को कई वातावरणों और ऑर्केस्ट्रेशन ढांचे के लिए पोर्टेबल होने के लिए डिज़ाइन किया गया है। डेवलपर कस्टम वाद्यवृंदकार बना सकते हैं या कि TFX, अर्थात् द्वारा समर्थित हैं डिफ़ॉल्ट वाद्यवृंदकार के अलावा अतिरिक्त वाद्यवृंदकार जोड़ सकते हैं वायु प्रवाह , बीम और Kubeflow

सभी वाद्यवृंदकार से विरासत चाहिए TfxRunner । TFX ऑर्केस्ट्रेटर तार्किक पाइपलाइन ऑब्जेक्ट लेते हैं, जिसमें पाइपलाइन आर्ग्स, घटक और DAG होते हैं, और DAG द्वारा परिभाषित निर्भरता के आधार पर TFX पाइपलाइन के शेड्यूलिंग घटकों के लिए जिम्मेदार होते हैं।

उदाहरण के लिए, कैसे के साथ एक कस्टम वाद्यवृन्दकार बनाने के लिए कम के लुक जाने ComponentLauncher । ComponentLauncher पहले से ही एक घटक के ड्राइवर, निष्पादक और प्रकाशक को संभालता है। नए ऑर्केस्ट्रेटर को केवल DAG के आधार पर ComponentLaunchers शेड्यूल करने की आवश्यकता है। एक साधारण वाद्यवृन्दकार के रूप में प्रदान की जाती है LocalDagRunner , जो घटकों डैग के संस्थानिक क्रम में एक के बाद एक चलाता है।

इस ऑर्केस्ट्रेटर का उपयोग पायथन डीएसएल में किया जा सकता है:

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

पायथन डीएसएल फ़ाइल के ऊपर चलाने के लिए (यह मानते हुए कि इसे dsl.py नाम दिया गया है), बस निम्नलिखित कार्य करें:

python dsl.py