תזמור TFX Pipelines

זרימת אוויר של אפאצ'י

Apache Airflow היא פלטפורמה לכתיבה, תזמון וניטור של זרימות עבודה באופן תכנותי. TFX משתמש ב-Airflow כדי ליצור זרימות עבודה כגרפים א-מחזוריים מכוונים (DAGs) של משימות. מתזמן זרימת האוויר מבצע משימות על מערך עובדים תוך מעקב אחר התלות שצוינו. כלי עזר עשירים של שורת פקודה הופכים את ביצוע ניתוחים מורכבים ב-DAGs לקצרה. ממשק המשתמש העשיר מאפשר לדמיין בקלות צינורות הפועלים בייצור, לנטר את ההתקדמות ולפתור בעיות בעת הצורך. כאשר זרימות עבודה מוגדרות כקוד, הן הופכות יותר ניתנות לתחזוקה, לגירסאות, לבדיקה ושיתופיות.

עיין ב- Apache Airflow לפרטים על התקנה ושימוש ב- Apache Airflow.