دليل معالجة النصوص TensorFlow مكتبات المستندات وسير العمل لمعالجة اللغة الطبيعية (NLP) ويقدم مفاهيم مهمة للعمل مع النص.
KerasNLP
KerasNLP هي مكتبة عالية المستوى لمعالجة اللغة الطبيعية (NLP) تتضمن جميع أحدث النماذج المستندة إلى Transformer بالإضافة إلى أدوات الترميز ذات المستوى المنخفض. إنه الحل الموصى به لمعظم حالات استخدام البرمجة اللغوية العصبية.
- الشروع في العمل مع KerasNLP : تعلم KerasNLP من خلال إجراء تحليل المشاعر بمستويات تقدمية من التعقيد ، من استخدام نموذج مدرب مسبقًا إلى بناء محولك الخاص من نقطة الصفر.
tf.strings
توفر الوحدة tf.strings عمليات للعمل مع موتر السلسلة.
- سلاسل Unicode : تمثيل سلاسل Unicode في TensorFlow ومعالجتها باستخدام معادلات Unicode من عمليات السلسلة القياسية.
نص TensorFlow
إذا كنت بحاجة إلى الوصول إلى أدوات معالجة النصوص ذات المستوى الأدنى ، فيمكنك استخدام TensorFlow Text. يوفر TensorFlow Text مجموعة من العمليات والمكتبات لمساعدتك في العمل مع الإدخال في نموذج نص مثل سلاسل النص الخام أو المستندات.
- مقدمة إلى نص TensorFlow : تعرف على كيفية تثبيت نص TensorFlow أو إنشائه من المصدر.
- تحويل مشغلي نص TensorFlow إلى TensorFlow Lite : تحويل نموذج نص TensorFlow إلى TensorFlow Lite للنشر على الأجهزة المحمولة والمدمجة وأجهزة إنترنت الأشياء.
ما قبل المعالجة
- معالجة BERT المسبقة باستخدام نص TF : استخدم عمليات المعالجة المسبقة للنص TensorFlow لتحويل بيانات النص إلى مدخلات لـ BERT.
- الترميز باستخدام نص TF : فهم خيارات الرمز المميز التي يوفرها نص TensorFlow. تعرف على الوقت الذي قد ترغب في استخدام خيار على آخر ، وكيف يتم استدعاء هذه الرموز المميزة من داخل نموذجك.
- مقومات الكلمات الفرعية : قم بإنشاء مفردات كلمات فرعية من مجموعة بيانات ، واستخدمها لإنشاء
text.BertTokenizer.
نماذج TensorFlow - البرمجة اللغوية العصبية
توفر مكتبة TensorFlow - مكتبة البرمجة اللغوية العصبية (NLP) بدائل Keras التي يمكن تجميعها في نماذج قائمة على المحولات ، وفئات سقالة تتيح إجراء تجارب سهلة باستخدام بنى جديدة.
- مقدمة لمكتبة TensorFlow Models NLP : بناء نماذج قائمة على المحولات لمهام البرمجة اللغوية العصبية الشائعة بما في ذلك التدريب المسبق ، ووضع العلامات على الامتداد ، والتصنيف باستخدام اللبنات الأساسية من مكتبة نمذجة البرمجة اللغوية العصبية .
- تخصيص ترميز المحولات : تخصيص
tfm.nlp.networks.EncoderScaffold، سقالة شبكة مشفر ثنائية الاتجاه تعتمد على المحولات ، لتوظيف بنيات شبكة جديدة.