מבוא לטקסט TensorFlow

TensorFlow Text מספק אוסף של שיעורים ואופציות הקשורות לטקסט המוכנים לשימוש עם TensorFlow 2.0. הספרייה יכולה לבצע את העיבוד המקדים הנדרש באופן קבוע על ידי מודלים מבוססי טקסט, וכוללת תכונות אחרות שימושיות עבור דוגמנות רצף שאינן מסופקות על ידי TensorFlow הליבה.

היתרון בשימוש באופציות אלה בעיבוד המקדים של הטקסט שלך הוא שהם נעשים בגרף TensorFlow. אינך צריך לדאוג שהאסימון באימון יהיה שונה מהאסימון בהסקת ההסקה, או ניהול סקריפטים בעיבוד מקדים.

התקן את TensorFlow Text

התקן באמצעות pip

בעת התקנת TF Text עם התקנת pip, שים לב לגרסה של TensorFlow שאתה מפעיל, שכן עליך לציין את הגרסה המתאימה של TF Text.

pip install -U tensorflow-text==<version>

בנה ממקור

TensorFlow Text חייב להיות בנוי באותה סביבה כמו TensorFlow. לפיכך, אם אתה בונה באופן ידני TF Text, מומלץ מאוד לבנות גם את TensorFlow.

אם בונים על MacOS, עליך להתקין coreutils. זה כנראה הכי קל לעשות עם Homebrew. ראשית, לבנות TensorFlow ממקור .

שכפל את מאגר הטקסט של TF.

git clone  https://github.com/tensorflow/text.git

לבסוף, הפעל את סקריפט ה-build כדי ליצור חבילת pip.

./oss_scripts/run_build.sh