חתימות נפוצות לטקסט

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

דף זה מתאר חתימות משותפות שאמורות להיות מיושמות על ידי מודולים של פורמט Hub TF1 למשימות המקבלות תשומות טקסט. (עבור פורמט TF2 SavedModel , לראות את מקביל API SavedModel .)

וקטור של תכונת טקסט

מודול וקטור תכונת טקסט יוצר ייצוג וקטור צפוף מן התכונות בטקסט. היא מקבלת קבוצה של מחרוזות של צורה [batch_size] וממפה אותם float32 מותח של צורה [batch_size, N] . תופעה זו נקראת הטקסט מוטבע מימד N .

שימוש בסיסי

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

שימוש בעמודת תכונה

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.inputs.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

הערות

המודולים הוכשרו מראש בתחומים ו/או משימות שונות, ולכן לא כל מודול וקטור של תכונת טקסט יתאים לבעיה שלך. לדוגמא: ניתן היה להכשיר כמה מודולים בשפה אחת.

ממשק זה אינו מאפשר כוונון עדין של ייצוג הטקסט ב- TPUs, מכיוון שהוא דורש מהמודול לבצע מיידיות הן את עיבוד המחרוזות והן את המשתנים הניתנים להכשרה.