TFX İşlem Hatlarının Düzenlenmesi

Özel Orkestratör

TFX, birden fazla ortama ve düzenleme çerçevesine taşınabilir olacak şekilde tasarlanmıştır. Geliştiriciler, TFX tarafından desteklenen varsayılan orkestratörlere ( Local , Vertex AI , Airflow ve Kubeflow) ek olarak özel orkestratörler oluşturabilir veya ek orkestratörler ekleyebilir.

Tüm orkestratörlerin TfxRunner'dan miras alması gerekir. TFX orkestratörleri, işlem hattı bağımsız değişkenlerini, bileşenlerini ve DAG'yi içeren mantıksal işlem hattı nesnesini alır ve DAG tarafından tanımlanan bağımlılıklara göre TFX işlem hattının bileşenlerinin zamanlanmasından sorumludur.

Örneğin BaseComponentLauncher ile nasıl özel bir orkestratör oluşturulacağına bakalım. BaseComponentLauncher zaten tek bir bileşenin sürücüsünü, yürütücüsünü ve yayıncısını yönetiyor. Yeni orkestratörün yalnızca ComponentLauncher'ları DAG'a göre planlaması gerekiyor. Bileşenleri DAG'ın topolojik sırasına göre tek tek çalıştıran LocalDagRunner olarak basit bir orkestratör sağlanır.

Bu orkestratör Python DSL'de kullanılabilir:

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

Python DSL dosyasının üzerinde çalıştırmak için (adının dsl.py olduğu varsayılarak), aşağıdakileri yapmanız yeterlidir:

python dsl.py