مقدمه ای بر متن TensorFlow

TensorFlow Text مجموعه ای از کلاس ها و عملیات مرتبط با متن را فراهم می کند که آماده استفاده با TensorFlow 2.0 هستند. این کتابخانه می‌تواند پیش‌پردازش‌هایی را که به‌طور منظم مورد نیاز مدل‌های مبتنی بر متن است، انجام دهد، و شامل سایر ویژگی‌های مفید برای مدل‌سازی توالی است که توسط TensorFlow هسته ارائه نشده است.

مزیت استفاده از این عملیات در پیش پردازش متن این است که آنها در نمودار TensorFlow انجام می شوند. لازم نیست نگران تفاوت توکن سازی در آموزش با توکن سازی در استنتاج یا مدیریت اسکریپت های پیش پردازش باشید.

TensorFlow Text را نصب کنید

با استفاده از pip نصب کنید

هنگام نصب TF Text با نصب pip، به نسخه TensorFlow که در حال اجرا هستید توجه کنید، زیرا باید نسخه مربوطه TF Text را مشخص کنید.

pip install -U tensorflow-text==<version>

ساخت از منبع

متن TensorFlow باید در محیطی مشابه با TensorFlow ساخته شود. بنابراین، اگر TF Text را به صورت دستی می‌سازید، به شدت توصیه می‌شود که TensorFlow را نیز بسازید.

اگر روی MacOS می‌سازید، باید coreutils را نصب کنید. احتمالاً ساده ترین کار با Homebrew است. اول، TensorFlow ساخت از منبع .

مخزن TF Text را شبیه سازی کنید.

git clone  https://github.com/tensorflow/text.git

در نهایت، اسکریپت ساخت را اجرا کنید تا یک بسته پیپ ایجاد کنید.

./oss_scripts/run_build.sh