תזמון צינורות TFX

זרימת אוויר של אפאצ'י

Airflow האפצ'י הוא פלטפורמת זרימות עבודת מחבר, לוח זמנים ואת הצג תכנותי. TFX משתמש ב-Airflow כדי ליצור זרימות עבודה כגרפים א-מחזוריים מכוונים (DAGs) של משימות. מתזמן זרימת האוויר מבצע משימות על מערך עובדים תוך מעקב אחר התלות שצוינו. כלי עזר עשירים של שורת פקודה הופכים את ביצוע ניתוחים מורכבים ב-DAG לפשוטה. ממשק המשתמש העשיר מאפשר לדמיין בקלות צינורות הפועלים בייצור, לנטר את ההתקדמות ולפתור בעיות בעת הצורך. כאשר זרימות עבודה מוגדרות כקוד, הן הופכות יותר ניתנות לתחזוקה, לגרסאות, לבדיקה ומשתפות.

עיין Airflow Apache לפרטים על התקנה ושימוש Airflow אפאצ'י.