কাস্টম অর্কেস্ট্রেটর
TFX একাধিক পরিবেশ এবং অর্কেস্ট্রেশন ফ্রেমওয়ার্কের জন্য পোর্টেবল করার জন্য ডিজাইন করা হয়েছে। ডেভেলপারগণ কাস্টম orchestrators তৈরি বা যে TFX, যথা দ্বারা সমর্থিত ডিফল্ট orchestrators ছাড়াও অতিরিক্ত orchestrators যোগ করতে পারেন Airflow , রশ্মি ও Kubeflow ।
সকল orchestrators থেকে উত্তরাধিকারী আবশ্যক TfxRunner । TFX অর্কেস্ট্রেটররা লজিক্যাল পাইপলাইন অবজেক্ট নেয়, যাতে পাইপলাইন আর্গ, কম্পোনেন্ট এবং ডিএজি থাকে এবং ডিএজি দ্বারা সংজ্ঞায়িত নির্ভরতার উপর ভিত্তি করে টিএফএক্স পাইপলাইনের উপাদান নির্ধারণের জন্য দায়ী।
উদাহরণস্বরূপ, কিভাবে সঙ্গে একটি কাস্টম orchestrator তৈরি করতে এ লুক দিন ComponentLauncher । কম্পোনেন্ট লঞ্চার ইতিমধ্যেই একটি একক উপাদানের ড্রাইভার, নির্বাহক এবং প্রকাশক পরিচালনা করে। নতুন অর্কেস্ট্রেটরকে শুধু DAG-এর উপর ভিত্তি করে কম্পোনেন্ট লঞ্চারের সময়সূচী করতে হবে। একটি সরল orchestrator হিসাবে প্রদান করা হয় LocalDagRunner , যা উপাদান DAG এর টপোলজিকাল অনুক্রমে একের পর এক রান।
এই অর্কেস্ট্রেটরটি পাইথন ডিএসএল-এ ব্যবহার করা যেতে পারে:
def _create_pipeline(...) -> dsl.Pipeline:
...
return dsl.Pipeline(...)
if __name__ == '__main__':
orchestration.LocalDagRunner().run(_create_pipeline(...))
পাইথন ডিএসএল ফাইলের উপরে চালানোর জন্য (অনুমান করে এটি dsl.py নামে), কেবল নিম্নলিখিতগুলি করুন:
python dsl.py