רכיב ה-Trainer TFX Pipeline

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

רכיב הצינור של Trainer TFX מאמן מודל TensorFlow.

מאמן ו- TensorFlow

מאמן עושה שימוש נרחב של פיתון TensorFlow API עבור דגמי אימונים.

רְכִיב

המאמן לוקח:

  • tf.דוגמאות המשמשות לאימון והערכה.
  • קובץ מודול שסופק על ידי המשתמש המגדיר את הלוגיקה של המאמן.
  • Protobuf ההגדרה של ארגומנטים הרכבת ארגומנטים eval.
  • (אופציונלי) סכימת נתונים שנוצרה על ידי רכיב SchemaGen צינור ושונתה באופן אופציונלי על ידי המפתח.
  • (אופציונלי) גרף טרנספורמציה המופק על ידי רכיב טרנספורמציה במעלה הזרם.
  • (אופציונלי) מודלים מאומנים מראש המשמשים לתרחישים כגון התנעה חמה.
  • היפרפרמטרים (אופציונליים), שיועברו לפונקציית מודול המשתמש. פרטים של אינטגרציה עם טיונר ניתן למצוא כאן .

מאמן פולט: לפחות דגם אחד להסקה/הגשה (בדרך כלל ב-SavedModelFormat) ואופציונלי מודל אחר ל-eval (בדרך כלל EvalSavedModel).

אנו מספקים תמיכה בפורמטי מודל חלופיים כגון TFLite דרך הספרייה שכתוב דגם . עיין בקישור לספריית שכתוב המודלים לדוגמאות כיצד להמיר שני מודלים של Estimator ו-Keras.

מאמן גנרי

מאמן גנרי מאפשר למפתחים להשתמש בכל API של מודל TensorFlow עם רכיב ה-Trainer. בנוסף לאומדני TensorFlow, מפתחים יכולים להשתמש במודלים של Keras או בלולאות אימון מותאמות אישית. לפרטים, עיין RFC עבור מאמן גנריות .

הגדרת רכיב המאמן

קוד צינור DSL טיפוסי עבור ה-Trainer הגנרי ייראה כך:

from tfx.components import Trainer

...

trainer = Trainer(
    module_file=module_file,
    examples=transform.outputs['transformed_examples'],
    transform_graph=transform.outputs['transform_graph'],
    train_args=trainer_pb2.TrainArgs(num_steps=10000),
    eval_args=trainer_pb2.EvalArgs(num_steps=5000))

מאמן ומפעיל מודול הדרכה, אשר צוין module_file פרמטר. במקום trainer_fn , A run_fn נדרש בקובץ מודול אם GenericExecutor צוין custom_executor_spec . trainer_fn היה אחראי ליצירת המודל. בנוסף לכך, run_fn גם צריך להתמודד עם חלק הכשרת פלט המודל המאולף עד למיקום רצוי שנתן FnArgs :

from tfx.components.trainer.fn_args_utils import FnArgs

def run_fn(fn_args: FnArgs) -> None:
  """Build the TF model and train it."""
  model = _build_keras_model()
  model.fit(...)
  # Save model to fn_args.serving_model_dir.
  model.save(fn_args.serving_model_dir, ...)

הנה קובץ מודול למשל עם run_fn .

שימו לב שאם לא נעשה שימוש ברכיב ה-Transform בצנרת, המאמן ייקח ישירות את הדוגמאות מ-ExampleGen:

trainer = Trainer(
    module_file=module_file,
    examples=example_gen.outputs['examples'],
    schema=infer_schema.outputs['schema'],
    train_args=trainer_pb2.TrainArgs(num_steps=10000),
    eval_args=trainer_pb2.EvalArgs(num_steps=5000))

פרטים נוספים זמינים פניית API המאמן .