مرجع API برای متن و کتابخانه های NLP.

KerasNLP

مرجع API

ساده ترین راه برای شروع پردازش متن در TensorFlow استفاده از KerasNLP، یک کتابخانه پردازش زبان طبیعی است که اجزای مدولار را با وزن ها و معماری های از پیش تعیین شده پیشرفته ارائه می دهد. می توانید از اجزای KerasNLP خارج از جعبه استفاده کنید یا در صورت نیاز آنها را سفارشی کنید. KerasNLP بر محاسبات درون گراف برای همه گردش‌های کاری تاکید دارد، بنابراین می‌توانید انتظار تولید آسان با استفاده از اکوسیستم TensorFlow را داشته باشید.

برای نصب KerasNLP، به نصب مراجعه کنید.

متن TensorFlow

مرجع API

بسته tensorflow_text مجموعه‌ای از کلاس‌ها و عملیات مربوط به متن را فراهم می‌کند که آماده استفاده با TensorFlow هستند. این کتابخانه می‌تواند پیش‌پردازش‌هایی را که به‌طور منظم مورد نیاز مدل‌های مبتنی بر متن است، انجام دهد، و شامل سایر ویژگی‌های مفید برای مدل‌سازی توالی است که توسط TensorFlow هسته ارائه نشده است.

برای جزئیات نصب، به راهنما مراجعه کنید

مدل های TensorFlow - NLP

مرجع API

مخزن TensorFlow Models پیاده سازی هایی از مدل های پیشرفته (SOTA) را ارائه می دهد. بسته tensorflow-models-official شامل بسیاری از توابع و کلاس‌های سطح بالا برای ساخت مدل‌های SOTA NLP از جمله nlp.layers ، nlp.losses ، nlp.models و nlp.tasks است.

می توانید بسته را با pip نصب کنید:

$ pip install tensorflow-models-official  # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build

عملکرد NLP در زیر ماژول tfm.nlp موجود است.

import tensorflow_models as tfm
tfm.nlp