احضر ندوة النساء في غسل الأموال في 7 ديسمبر. سجل الآن
تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

أدوات معالجة النصوص لـ TensorFlow

import tensorflow as tf
import tensorflow_text as tf_text

def preprocess(vocab_lookup_table, example_text):

  # Normalize text
  tf_text.normalize_utf8(example_text)

  # Tokenize into words
  word_tokenizer = tf_text.WhitespaceTokenizer()
  tokens = word_tokenizer.tokenize(example_text)

  # Tokenize into subwords
  subword_tokenizer = tf_text.WordpieceTokenizer(
       vocab_lookup_table, token_out_type=tf.int64)
  subtokens = subword_tokenizer.tokenize(tokens).merge_dims(1, -1)

  # Apply padding
  padded_inputs = tf_text.pad_model_inputs(subtokens, max_seq_length=16)
  return padded_inputs
تشغيل فى دفتر

يوفر لك TensorFlow مجموعة غنية من العمليات والمكتبات لمساعدتك في العمل مع الإدخال في نموذج نصي مثل سلاسل النص الخام أو المستندات. يمكن لهذه المكتبات إجراء المعالجة المسبقة التي تتطلبها النماذج النصية بانتظام ، وتتضمن ميزات أخرى مفيدة لنمذجة التسلسل.

يمكنك استخراج ميزات نصية وتركيبية قوية من داخل الرسم البياني TensorFlow كمدخل إلى شبكتك العصبية.

يوفر تكامل المعالجة المسبقة مع الرسم البياني TensorFlow الفوائد التالية:

  • يسهل مجموعة أدوات كبيرة للعمل مع النص
  • يسمح بالتكامل مع مجموعة كبيرة من أدوات Tensorflow لدعم المشاريع من تحديد المشكلة من خلال التدريب والتقييم والبدء
  • يقلل من التعقيد في وقت التقديم ويمنع انحراف تقديم التدريب

بالإضافة إلى ما سبق ، لا داعي للقلق بشأن اختلاف الرمز المميز في التدريب عن الرمز المميز في الاستدلال ، أو إدارة البرامج النصية للمعالجة المسبقة.

نماذج معمارية
تعرف على كيفية إجراء معالجة BERT من طرف إلى طرف على النص.
تعرف على كيفية إنشاء مفردات الكلمات الفرعية من النص.
تعرف على كيفية تصنيف النص باستخدام نموذج BERT.
تصنيف النص باستخدام الشبكات العصبية المتكررة.
استخدم نماذج المحولات لترجمة النص.
تعرف على كيفية ترجمة النص باستخدام نماذج التسلسل إلى التسلسل.