مقدمة إلى نص TensorFlow

يوفر TensorFlow Text مجموعة من الفئات والعمليات المتعلقة بالنص جاهزة للاستخدام مع TensorFlow 2.0. يمكن للمكتبة إجراء المعالجة المسبقة التي تتطلبها النماذج النصية بانتظام ، وتتضمن ميزات أخرى مفيدة لنمذجة التسلسل التي لا يوفرها Core TensorFlow.

تكمن فائدة استخدام هذه العمليات في المعالجة المسبقة للنص في أنها تتم في الرسم البياني TensorFlow. لا داعي للقلق بشأن اختلاف الرمز المميز في التدريب عن الرمز المميز عند الاستدلال ، أو إدارة البرامج النصية للمعالجة المسبقة.

قم بتثبيت TensorFlow Text

التثبيت باستخدام النقطة

عند تثبيت TF Text مع تثبيت pip ، لاحظ إصدار TensorFlow الذي تقوم بتشغيله ، حيث يجب عليك تحديد الإصدار المقابل من نص TF.

pip install -U tensorflow-text==<version>

بناء من المصدر

يجب إنشاء نص TensorFlow في نفس بيئة TensorFlow. وبالتالي ، إذا قمت بإنشاء نص TF يدويًا ، فيوصى بشدة أن تقوم أيضًا بإنشاء TensorFlow.

إذا كنت تقوم بالبناء على نظام MacOS ، فيجب أن يكون لديك coreutils مثبتة. ربما يكون من الأسهل القيام به مع Homebrew. أولا، بناء TensorFlow من مصدر .

استنساخ نص TF الريبو.

git clone  https://github.com/tensorflow/text.git

أخيرًا ، قم بتشغيل البرنامج النصي للبناء لإنشاء حزمة نقطة.

./oss_scripts/run_build.sh