דף זה תורגם על ידי Cloud Translation API.
Switch to English

מדריך למשתמש TFX

מבוא

TFX היא פלטפורמת למידת מכונה בקנה מידה ייצור בגוגל (ML) המבוססת על TensorFlow. הוא מספק מסגרת תצורה וספריות משותפות לשילוב רכיבים משותפים הדרושים להגדרה, הפעלה ומעקב אחר מערכת למידת המחשב שלך.

הַתקָנָה

פִּיתוֹן PyPI

pip install tfx

אודות TFX

TFX היא פלטפורמה לבניית וניהול זרימות עבודה של ML בסביבת ייצור. TFX מספק את הדברים הבאים:

  • ערכת כלים לבניית צינורות ML. צינורות TFX מאפשרים לך לתזמן את זרימת העבודה שלך ב- ML בכמה פלטפורמות, כגון: Apache Airflow, Apache Beam ו- Kubeflow Pipelines.

    למידע נוסף על צינורות TFX .

  • קבוצה של רכיבים סטנדרטיים שתוכלו להשתמש בהם כחלק מצינור, או כחלק מתסריט האימונים שלכם ב- ML. רכיבי TFX סטנדרטיים מספקים פונקציונליות מוכחת שיעזרו לך להתחיל לבנות תהליך ML בקלות.

    למידע נוסף על רכיבי TFX סטנדרטיים .

  • ספריות המספקות פונקציונליות בסיסית עבור רבים מהרכיבים הסטנדרטיים. אתה יכול להשתמש בספריות TFX כדי להוסיף פונקציונליות זו לרכיבים המותאמים אישית שלך, או להשתמש בהם בנפרד.

    למידע נוסף על ספריות TFX .

TFX הוא ערכת כלים ללימוד מכונה בקנה מידה ייצור של Google המבוססת על TensorFlow. הוא מספק מסגרת תצורה וספריות משותפות לשילוב רכיבים משותפים הדרושים להגדרה, הפעלה ומעקב אחר מערכת למידת המחשב שלך.

רכיבי TFX סטנדרטיים

צינור TFX הוא רצף של רכיבים המיישמים צינור ML אשר תוכנן במיוחד למשימות למידה מכונה ניתנות להרחבה וביצועים גבוהים. זה כולל דוגמנות, הדרכה, הגשת מסקנות וניהול פריסות ליעדים מקוונים, ניידים ו- JavaScript.

צינור TFX כולל בדרך כלל את הרכיבים הבאים:

  • ExampleGen הוא רכיב הקלט הראשוני של צינור שבולע ומפצל את מערך הקלט באופן אופציונלי.

  • StatisticsGen מחשבת נתונים סטטיסטיים עבור מערך הנתונים.

  • SchemaGen בוחן את הסטטיסטיקה ויוצר סכמת נתונים.

  • ExampleValidator מחפש חריגות וערכים חסרים במערך הנתונים.

  • Transform מבצע הנדסת תכונות במערך הנתונים.

  • מאמן מאמן את המודל.

  • טיונר מכוון את היפרפרמטרים של הדגם.

  • Evaluator מבצע ניתוח מעמיק של תוצאות ההדרכה ומסייע לך לאמת את המודלים המיוצאים שלך, ולהבטיח שהם "טובים מספיק" כדי להידחק לייצור.

  • InfraValidator בודק שהמודל למעשה ניתן לשרת באמצעות התשתית, ומונע דחיפה של המודל הגרוע.

  • פושר פורס את המודל על תשתית משרתת.

  • BulkInferrer מבצע עיבוד אצווה במודל עם בקשות הסקה ללא תווית.

תרשים זה ממחיש את זרימת הנתונים בין רכיבים אלה:

זרימת רכיבים

ספריות TFX

TFX כולל גם ספריות וגם רכיבי צינור. תרשים זה ממחיש את הקשרים בין ספריות TFX ורכיבי צינור:

ספריות ורכיבים

TFX מספק מספר חבילות פייתון שהן הספריות המשמשות ליצירת רכיבי צינור. תשתמש בספריות אלה כדי ליצור את רכיבי הצינורות שלך כך שהקוד שלך יכול להתמקד בהיבטים הייחודיים של הצינור שלך.

ספריות TFX כוללות:

  • אימות נתונים של TensorFlow (TFDV) היא ספרייה לניתוח ואימות של נתוני למידת מכונה. הוא נועד להיות מדרגי מאוד ולעבוד היטב עם TensorFlow ו- TFX. TFDV כולל:

    • חישוב מדרגי של סטטיסטיקה מסכמת של נתוני אימונים ומבחנים.
    • שילוב עם צופה להפצות נתונים וסטטיסטיקה, כמו גם השוואה פנים בין זוגות מערכי נתונים (Facets).

    • ייצור אוטומטי של סכמות נתונים לתיאור ציפיות לגבי נתונים כמו ערכים, טווחים ואוצר מילים נדרשים.

    • צופה בסכמה שיעזור לך לבדוק את הסכימה.

    • זיהוי חריגות לזיהוי חריגות, כגון תכונות חסרות, ערכים מחוץ לטווח, או סוגי תכונות שגויים, עד כמה שם.

    • צופה בחריגות כדי שתוכל לראות אילו תכונות יש חריגות וללמוד עוד על מנת לתקן אותן.

  • TensorFlow Transform (TFT) היא ספריה לעיבוד נתונים מראש עם TensorFlow. Transform TensorFlow שימושי לנתונים הדורשים מעבר מלא, כגון:

    • נרמל ערך קלט לפי סטיית ממוצע וסטנדרט.
    • המרת מחרוזות למספרים שלמים על ידי יצירת אוצר מילים על כל ערכי הקלט.
    • המר צפים למספרים שלמים על ידי הקצאתם לדליים על בסיס התפלגות הנתונים שנצפו.
  • TensorFlow משמש לאימון מודלים עם TFX. הוא בולע נתוני אימון וקוד דוגמנות ויוצר תוצאה של SavedModel. הוא משלב גם צינור הנדסי תכונות שנוצר על ידי TensorFlow Transform לצורך עיבוד מראש של נתוני קלט.

    KerasTuner משמש לכוונון היפרפרמטרים לדגם.

  • ניתוח מודלים של TensorFlow (TFMA) היא ספרייה להערכת מודלים של TensorFlow. הוא משמש יחד עם TensorFlow ליצירת EvalSavedModel, שהופך לבסיס לניתוחו. זה מאפשר למשתמשים להעריך את המודלים שלהם על כמויות גדולות של נתונים באופן מבוזר, תוך שימוש באותם מדדים שהוגדרו במאמן שלהם. ניתן לחשב מדדים אלה על גבי פרוסות נתונים שונות ולהמחיש אותם במחברות Jupyter.

  • מטא-נתונים של TensorFlow (TFMD) מספק ייצוגים סטנדרטיים למטא נתונים שהינם שימושיים בעת אימון מודלים של למידת מכונה עם TensorFlow. המטא-נתונים עשויים להיות מיוצרים בעבודת יד או באופן אוטומטי במהלך ניתוח נתוני הקלט, וניתן לצרוך אותם לצורך אימות נתונים, חקר ושינוי טרנספורמציה. הפורמטים לסידור מטא-נתונים כוללים:

    • סכמה המתארת ​​נתונים טבלאיים (למשל, דוגמאות למשל).
    • אוסף של נתונים סטטיסטיים מסכמים על מערכי נתונים כאלה.
  • ML Metadata (MLMD) היא ספרייה להקלטה ואחזור מטא נתונים המשויכים לתהליכי עבודה של מפתח ומדעני נתונים. לרוב המטא-נתונים משתמשים בייצוגי TFMD. MLMD מנהלת התמדה באמצעות SQL-Lite , MySQL וחנויות נתונים דומות אחרות.

תמיכה בטכנולוגיות

נדרש

  • Apache Beam הוא מודל אחיד בקוד פתוח להגדרת צינורות עיבוד מקבילים וזרמים מקבילים. TFX משתמשת ב- Apache Beam כדי ליישם צינורות מקבילים לנתונים. לאחר מכן, הצינור מבוצע על ידי אחד מקורות העיבוד המבוזרים הנתמכים של Beam, הכוללים Apache Flink, Apache Spark, Google Cloud Dataflow ואחרים.

אופציונאלי

מתזמרים כמו Apache Airflow ו- Kubeflow הופכים את התצורה, ההפעלה, הניטור והשמירה על צינור ML לקלים יותר.

  • אפאצ'י אייר זרימה היא פלטפורמה לחיוב תוכניות, לתזמן ולפקח על זרימות עבודה. TFX משתמש ב- Airflow כדי לחבר זרימות עבודה כגרפים acyclic מכוונים (DAG) של משימות. מתזמן זרימת האוויר מבצע משימות על מערך עובדים תוך מעקב אחר התלות שצוינה. כלי שורת פקודה עשירים הופכים את הביצוע של ניתוחים מורכבים ב- DAG לבינונית. ממשק המשתמש העשיר מקל על הדמיה של צינורות הפועלים בייצור, מעקב אחר התקדמות ופתרון בעיות בעת הצורך. כאשר תהליכי עבודה מוגדרים כקוד, הם הופכים לתחזוקיים יותר, ניתנים לגרסה, ניתנים לבדיקה ושיתופי פעולה.

  • Kubeflow מוקדשת לפריסת תהליכי עבודה של למידת מכונה (ML) ב- Kubernetes לפשוטה, ניידת וניתנת להרחבה. המטרה של קובפלוב היא לא ליצור מחדש שירותים אחרים, אלא לספק דרך פשוטה לפרוס מערכות קוד פתוח מיטביות עבור ML בתשתיות מגוונות. צינורות Kubeflow מאפשרים הרכבה וביצוע של תהליכי עבודה לשחזור ב- Kubeflow, משולבים בניסויים וחוויות מבוססות מחברות. שירותי Kubeflow Pipelines ב- Kubernetes כוללים את חנות Metadata המתארחת, מנוע תזמור מבוסס מכולה, שרת מחברות ו- UI שיעזרו למשתמשים לפתח, להריץ ולנהל צינורות ML מורכבים בקנה מידה. ה- SDK של Kubeflow Pipelines מאפשר יצירה ושיתוף של רכיבים והרכב צינורות באופן פרוגרמטי.

ניידות ויכולת פעולה הדדית

TFX נועד להיות נייד למספר סביבות ומסגרות תזמור, כולל אפאצ'י זרימת אוויר , קרן אפאצ'י וקובפלו . זה גם נייד לפלטפורמות מחשוב שונות, כולל מקומיות ופלטפורמות ענן כמו פלטפורמת הענן של Google (GCP) . בפרט, TFX משתף פעולה עם שירותי GCP מנוהלים באמצעות שרתים, כגון פלטפורמת Cloud AI לאימון וחיזוי , ו- Cloud Dataflow לעיבוד נתונים מבוזרים למספר היבטים אחרים של מחזור החיים של ML.

מודל מול SavedModel

דֶגֶם

מודל הוא הפלט של תהליך האימון. זהו התיעוד הסידורי של המשקולות שנלמדו במהלך תהליך האימון. לאחר מכן ניתן להשתמש במשקולות אלה לחישוב חיזויים לדוגמאות קלט חדשות. עבור TFX ו- TensorFlow, 'מודל' מתייחס למחסומים המכילים את המשקולות שנלמדו עד לאותה נקודה.

שים לב ש'מודל 'עשוי להתייחס גם להגדרת גרף החישוב TensorFlow (כלומר קובץ פייתון) המבטא כיצד תחושב חיזוי. ניתן להשתמש בשני החושים בערבוביה בהתבסס על הקשר.

SavedModel

  • מהו SavedModel : סידור אוניברסלי, ניטרלי-שפה, הרמטי, בר-הבראה של מודל TensorFlow.
  • מדוע זה חשוב : הוא מאפשר למערכות ברמה גבוהה יותר לייצר, להפוך ולצרוך מודלים של TensorFlow באמצעות הפשטה אחת.

SavedModel הוא פורמט הסידור המומלץ להגשת מודל TensorFlow בייצור, או ייצוא של מודל מאומן ליישום מקומי לנייד או JavaScript. לדוגמה, כדי להפוך מודל לשירות REST לצורך חיזוי, אתה יכול לסדר את המודל כ- SavedModel ולהגיש אותו באמצעות TensorFlow Serving. ראה הגשת מודל TensorFlow לקבלת מידע נוסף.

סכֵימָה

רכיבי TFX מסוימים משתמשים בתיאור נתוני הקלט שלך הנקראים סכמה . הסכימה היא מופע של schema.proto . סכמות הן סוג של מאגר פרוטוקולים , הידוע יותר בכינויו "פרוטובוף". הסכימה יכולה לציין סוגי נתונים עבור ערכי תכונות, בין אם תכונה צריכה להיות נוכחת בכל הדוגמאות, טווחי הערכים המותרים ותכונות אחרות. אחד היתרונות של שימוש ב- TensorFlow Validation Data (TFDV) הוא בכך שהיא תיצור באופן אוטומטי סכימה על ידי הסקת סוגים, קטגוריות וטווחים מנתוני האימון.

הנה קטע מ- protobuf סכמה:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

הרכיבים הבאים משתמשים בסכמה:

  • אימות נתונים של TensorFlow
  • טרנספורמציה של TensorFlow

בצינור TFX טיפוסי TensorFlow Validation Data מייצר סכמה הנצרכת על ידי הרכיבים האחרים.

פיתוח עם TFX

TFX מספק פלטפורמה עוצמתית לכל שלב בפרויקט למידת מכונה, החל ממחקר, ניסויים ופיתוח במכונה המקומית שלך, דרך פריסה. כדי שכפול קוד להימנע ולחסל את פוטנציאל אימון / המשרת לסלף מומלץ מאוד ליישם צינור TFX שלך הוא הכשרת מודל ויישום של מודלים מאומנים, ושימוש Transform רכיבים אשר מינוף TensorFlow Transform ספרייה הוא לאימוני היקש. על ידי כך תשתמש באותו קוד עיבוד מקדים וניתוח באופן עקבי, ותמנע מהבדלים בין נתונים המשמשים לאימון לבין נתונים המוזנים למודלים המאומנים שלך בייצור, כמו גם להפיק תועלת מכתיבת קוד זה פעם אחת.

חקר נתונים, ויזואליזציה וניקוי

חקר נתונים, ויזואליזציה וניקוי

צינורות TFX מתחילים בדרך כלל ברכיב ExampleGen , שמקבל נתוני קלט ומעצב אותם כ tf. דוגמאות. לעיתים קרובות הדבר נעשה לאחר פיצול הנתונים למערכי נתונים של אימונים והערכה כך שלמעשה ישנם שני עותקים של רכיבי ExampleGen, אחד כל אחד להכשרה והערכה. לאחר מכן בדרך כלל מרכיב StatisticsGen ורכיב SchemaGen , אשר יבדקו את הנתונים שלך ויסיקו סכמת נתונים וסטטיסטיקה. הסכימה והסטטיסטיקה ייצרכו על ידי רכיב ExampleValidator , שיחפש אחר חריגות, ערכים חסרים וסוגי נתונים שגויים בנתונים שלך. כל הרכיבים הללו ממנפים את יכולותיה של ספריית אימות הנתונים TensorFlow .

אימות נתונים של TensorFlow (TFDV) הוא כלי רב ערך בעת חקירה ראשונית, הדמיה וניקוי של מערך הנתונים שלך. TFDV בוחן את הנתונים שלך ומביא את סוגי הנתונים, הקטגוריות והטווחים ואז עוזר אוטומטית בזיהוי חריגות וערכים חסרים. הוא גם מספק כלים להדמיה שיכולים לעזור לך לבחון ולהבין את מערך הנתונים שלך. לאחר השלמת הצינור שלך תוכל לקרוא מטא-נתונים מ- MLMD ולהשתמש בכלי ההדמיה של TFDV במחברת Jupyter כדי לנתח את הנתונים שלך.

בעקבות ההכשרה והפריסה הראשונית של המודל, ניתן להשתמש ב- TFDV לניטור נתונים חדשים מבקשות הסקה למודלים הפרוסים שלך, ולחפש חריגות ו / או סחיפה. זה שימושי במיוחד לנתוני סדרות זמן המשתנים לאורך זמן כתוצאה ממגמה או עונתיות, ויכול לעזור בהודעה כשיש בעיות נתונים או כאשר יש צורך להכשיר מחדש מודלים על נתונים חדשים.

נתונים להדמיה

לאחר שתסיים את הריצה הראשונה של הנתונים שלך דרך החלק של הצינור שלך המשתמש ב- TFDV (בדרך כלל StatisticsGen, SchemaGen ו- ExampleValidator) תוכל לדמיין את התוצאות במחברת בסגנון Jupyter. לריצות נוספות תוכל להשוות תוצאות אלה תוך כדי התאמות, עד שהנתונים שלך יהיו אופטימליים עבור המודל והיישום שלך.

תחילה תשאיל את ML Metadata (MLMD) כדי לאתר את התוצאות של ביצועים אלה של רכיבים אלה, ואז תשתמש בממשק ה- API של תמיכה בהדמיה ב- TFDV כדי ליצור את ההדמיות במחברת שלך. זה כולל tfdv.load_statistics () ו- tfdv.visualize_statistics () באמצעות הדמיה זו תוכל להבין טוב יותר את מאפייני מערך הנתונים שלך, ובמידת הצורך לשנות כנדרש.

פיתוח והדרכת מודלים

הנדסת תכונות

צינור TFX טיפוסי יכלול רכיב Transform , אשר יבצע הנדסת תכונות על ידי מינוף היכולות של ספריית TensorFlow Transform (TFT) . רכיב Transform צורכת את הסכימה שנוצרת על ידי רכיב SchemaGen, ומחילה טרנספורמציות נתונים כדי ליצור, לשלב ולהפוך את התכונות שישמשו לאימון המודל שלך. ניקוי ערכים חסרים והמרת סוגים צריך להיעשות גם ברכיב הטרנספורמציה אם יש אי פעם אפשרות שאלה יהיו נוכחים גם בנתונים שנשלחו לבקשות הסקה. ישנם כמה שיקולים חשובים בעת תכנון קוד TensorFlow לאימון ב- TFX.

דוגמנות והדרכה

התוצאה של רכיב Transform היא SavedModel שיובא וישמש בקוד הדוגמנות שלך ב- TensorFlow במהלך רכיב Trainer . SavedModel זה כולל את כל השינויים בהנדסת הנתונים שנוצרו ברכיב ה- Transform, כך שההתמרות הזהות מבוצעות באמצעות אותו קוד בדיוק במהלך האימון וההסקה. באמצעות קוד הדוגמנות, כולל ה- SavedModel ממרכיב ה- Transform, תוכלו לצרוך את נתוני האימון וההערכה שלכם ולהכשיר את המודל שלכם.

כשעובדים עם מודלים מבוססי Estimator, החלק האחרון בקוד הדוגמנות שלך צריך לשמור את הדגם שלך כ- SavedModel ו- EvalSavedModel. שמירה כ- EvalSavedModel מבטיחה שהמדדים המשמשים בזמן האימון זמינים גם במהלך ההערכה (שימו לב שזה לא נדרש למודלים מבוססי keras). שמירת EvalSavedModel מחייבת לייבא את ספריית TensorFlow Model Analysis (TFMA) ברכיב המאמן שלך.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

ניתן להוסיף רכיב טיונר אופציונלי לפני Trainer בכדי לכוון את ההיפרפרמטרים (למשל, מספר שכבות) עבור הדגם. בעזרת המודל הנתון ומרחב החיפוש של היפר-פרמטרים, אלגוריתם הכוונון ימצא את ההיפר-פרמטרים הטובים ביותר על בסיס המטרה.

ניתוח והבנת ביצועי הדגם

ניתוח מודלים

בעקבות פיתוח ואימון ראשוני של המודל חשוב לנתח ולהבין באמת את ביצועי המודל שלך. צינור TFX טיפוסי יכלול רכיב Evaluator , המנצל את יכולותיה של ספריית ניתוח המודל TensorFlow (TFMA) , המספקת כלי כלים חשמליים לשלב זה של פיתוח. רכיב Evalorator צורך את המודל שייצאת לעיל ומאפשר לך לציין רשימה של tfma.SlicingSpec שתוכל להשתמש בו בעת הדמיה וניתוח של ביצועי המודל שלך. כל SlicingSpec מגדיר פרוסה של נתוני האימון שברצונך לבחון, כגון קטגוריות מסוימות עבור תכונות קטגוריות, או טווחים מסוימים עבור תכונות מספריות.

לדוגמה, זה יהיה חשוב לניסיון להבין את ביצועי המודל שלך עבור פלחים שונים של לקוחותיך, שיכולים להיות מפולחים לפי רכישות שנתיות, נתונים גיאוגרפיים, קבוצת גיל או מין. זה יכול להיות חשוב במיוחד עבור מערכי נתונים עם זנבות ארוכים, כאשר הביצועים של קבוצה דומיננטית עשויים להסוות ביצועים לא מקובלים עבור קבוצות חשובות, אך קטנות יותר. לדוגמא, המודל שלך עשוי לבצע ביצועים טובים עבור עובדים ממוצעים אך ייכשל כישלון חרוץ עבור אנשי ההנהלה, וייתכן שיהיה חשוב לך לדעת זאת.

ניתוח מודלים והדמיה

לאחר שסיימתם את הריצה הראשונה של הנתונים באמצעות הכשרת המודל והפעלת רכיב Evaluator (הממנף את ה- TFMA ) על תוצאות האימון, תוכלו לדמיין את התוצאות במחברת בסגנון Jupyter. לריצות נוספות תוכלו להשוות תוצאות אלו תוך כדי התאמות, עד שהתוצאות שלכם יהיו אופטימליות עבור המודל והיישום שלכם.

תחילה תשאיל ML Metadata (MLMD) כדי לאתר את התוצאות של ביצועים אלה של רכיבים אלה, ולאחר מכן תשתמש בממשק ה- API של תמיכה להדמיה ב- TFMA כדי ליצור את ההדמיות במחברת שלך. זה כולל tfma.load_eval_results ו- tfma.view.render_slicing_metrics באמצעות הדמיה זו תוכלו להבין טוב יותר את מאפייני המודל שלכם, ובמידת הצורך לשנות כנדרש.

אימות ביצועי המודל

כחלק מניתוח ביצועי המודל, ייתכן שתרצה לאמת את הביצועים מול קו הבסיס (כגון המודל המשרת כעת). אימות המודל מתבצע על ידי העברת מועמד וגם מודל בסיס לרכיב המעריך . המעריך מחשב מדדים (למשל AUC, הפסד) עבור המועמד והן עבור קו הבסיס יחד עם קבוצה מקבילה של מדדי הבדל. לאחר מכן ניתן להחיל ספים ולהשתמש בהם לשער שדוחף את המודלים שלך לייצור.

מאמת שניתן להגיש מודל

אימות אינפרא

לפני פריסת המודל המאומן, כדאי לאמת אם המודל באמת ניתן לשרת בתשתית ההגשה. זה חשוב במיוחד בסביבות ייצור כדי להבטיח שהמודל שפורסם לאחרונה לא ימנע מהמערכת להציג חיזויים. רכיב InfraValidator יבצע פריסה כנרית של המודל שלך בסביבת ארגזי חול, ובאופציה ישלח בקשות אמיתיות לבדוק שהמודל שלך פועל כהלכה.

יעדי פריסה

לאחר שפיתחתם ואימנתם מודל שאתם מרוצים ממנו, הגיע הזמן לפרוס אותו לאחד או יותר ממטרות פריסה שם הוא יקבל בקשות הסקה. TFX תומך בפריסה לשלוש סוגים של יעדי פריסה. ניתן לפרוס מודלים מאומנים שיוצאו כ- SavedModels לכל אחד ממטרות הפריסה הללו או כולן.

זרימת רכיבים

מסקנה: הגשת TensorFlow

TensorFlow Serving (TFS) היא מערכת הגשה בעלת ביצועים גבוהים למודלים של למידת מכונה, המיועדת לסביבות ייצור. הוא צורך SavedModel ויקבל בקשות הסקה על ממשקי REST או gRPC. הוא פועל כמערכת תהליכים על שרתי רשת אחד או יותר, תוך שימוש בכמה מכמה ארכיטקטורות מתקדמות לטיפול בסינכרון ובחישוב מבוזר. עיין בתיעוד TFS למידע נוסף אודות פיתוח ופריסה של פתרונות TFS.

בצינור טיפוסי, SavedModel שהוכשר ברכיב Trainer יאושר תחילה ברכיב InfraValidator . InfraValidator משיק שרת דגם TFS הקנרי שישרת בפועל את ה- SavedModel. אם האימות עבר, רכיב Pusher יפרוס סופית את ה- SavedModel בתשתית ה- TFS שלך. זה כולל טיפול במספר גרסאות ועדכוני דגם.

הסקה ביישומי Native Mobile ו- IoT: TensorFlow Lite

TensorFlow Lite הוא חבילת כלים שמוקדשת לעזור למפתחים להשתמש בדגמי ה- TensorFlow המאומנים שלהם ביישומי טלפון ניידים ו- IoT מקוריים. הוא צורך אותם SavedModels כמו TensorFlow Serving, ומיישם אופטימיזציות כגון כימות וגיזום כדי לייעל את הגודל והביצועים של המודלים המתקבלים לאתגרים של ריצה במכשירים ניידים ו- IoT. עיין בתיעוד של TensorFlow Lite למידע נוסף על השימוש ב- TensorFlow Lite.

הסקה ב- JavaScript: TensorFlow JS

TensorFlow JS היא ספריית JavaScript להכשרה ולפריסה של דגמי ML בדפדפן וב- Node.js. הוא צורך אותם SavedModels כמו TensorFlow Serving ו- TensorFlow Lite, וממיר אותם לפורמט האינטרנט TensorFlow.js. עיין בתיעוד TensorFlow JS לקבלת פרטים נוספים על השימוש ב- TensorFlow JS.

יצירת צינור TFX עם זרימת אוויר

בדוק את סדנת זרימת האוויר לפרטים

יצירת צינור TFX עם Kubeflow

להכין

Kubeflow דורש אשכול Kubernetes להפעלת הצינורות בקנה מידה גדול. ראה הנחיות הפריסה של Kubeflow המדריכות את האפשרויות לפריסת אשכול Kubeflow.

הגדר והפעל צינור TFX

אנא עקוב אחר TFX on Cloud AI Platform Pipeline Pipeline להפעלת צינור הדוגמה TFX ב- Kubeflow. רכיבי TFX עברו מיכל להכנת צינור ה- Kubeflow והמדגם ממחיש את היכולת להגדיר את הצינור לקריאת מערך נתונים ציבורי גדול ולבצע שלבי הדרכה ועיבוד נתונים בקנה מידה ענן.

ממשק שורת פקודה לפעולות צינור

TFX מספק CLI מאוחד שעוזר לבצע מגוון רחב של פעולות צנרת כגון יצירה, עדכון, הפעלה, רשימה ומחיקת צינורות בתזמורים שונים, כולל Apache Airflow, Apache Beam ו- Kubeflow. לפרטים, אנא עקוב אחר הוראות אלה .