Treten Sie der SIG TFX-Addons-Community bei und helfen Sie mit, TFX noch besser zu machen! SIG TFX-Addons beitreten

Orchestrieren von TFX-Pipelines

Apache Airflow

Apache Airflow ist eine Plattform zum programmgesteuerten Erstellen, Planen und Überwachen von Workflows. TFX verwendet Airflow, um Workflows als gerichtete azyklische Diagramme (DAGs) von Aufgaben zu erstellen. Der Airflow-Scheduler führt Aufgaben für eine Reihe von Workern aus, während die angegebenen Abhängigkeiten eingehalten werden. Umfangreiche Befehlszeilenprogramme machen das Ausführen komplexer Operationen an DAGs zum Kinderspiel. Die umfangreiche Benutzeroberfläche erleichtert die Visualisierung von Pipelines, die in der Produktion ausgeführt werden, die Überwachung des Fortschritts und die Behebung von Problemen bei Bedarf. Wenn Workflows als Code definiert werden, werden sie wartbarer, versionierbarer, testbarer und kollaborativer.

Sehen Sie sich die Apache Airflow Einzelheiten zur Installation und Verwendung von Apache Airflow.