يوفر TensorFlow Text مجموعة من الفئات والعمليات ذات الصلة بالنص الجاهزة للاستخدام مع TensorFlow 2.0. يمكن للمكتبة إجراء المعالجة المسبقة التي تتطلبها النماذج النصية بشكل منتظم، وتتضمن ميزات أخرى مفيدة لنمذجة التسلسل التي لا يوفرها TensorFlow الأساسي.
تتمثل فائدة استخدام هذه العمليات في المعالجة المسبقة للنص في أنها تتم في الرسم البياني TensorFlow. لا داعي للقلق بشأن اختلاف الترميز في التدريب عن الترميز عند الاستدلال، أو إدارة البرامج النصية للمعالجة المسبقة.
تثبيت نص TensorFlow
التثبيت باستخدام النقطة
عند تثبيت TF Text مع تثبيت النقطة، لاحظ إصدار TensorFlow الذي تقوم بتشغيله، حيث يجب عليك تحديد الإصدار المقابل من TF Text.
pip install -U tensorflow-text==<version>
البناء من المصدر
يجب إنشاء نص TensorFlow في نفس بيئة TensorFlow. وبالتالي، إذا قمت بإنشاء TF Text يدويًا، فمن المستحسن بشدة أن تقوم أيضًا بإنشاء TensorFlow.
إذا كنت تستخدم نظام التشغيل MacOS، فيجب أن يكون لديك أدوات أساسية مثبتة. ربما يكون من الأسهل القيام بذلك باستخدام Homebrew. أولاً، قم ببناء TensorFlow من المصدر .
استنساخ الريبو نص TF.
git clone https://github.com/tensorflow/text.git
أخيرًا، قم بتشغيل البرنامج النصي للإنشاء لإنشاء حزمة النقاط.
./oss_scripts/run_build.sh