KerasNLP
ساده ترین راه برای شروع پردازش متن در TensorFlow استفاده از KerasNLP، یک کتابخانه پردازش زبان طبیعی است که اجزای مدولار را با وزن ها و معماری های از پیش تعیین شده پیشرفته ارائه می دهد. می توانید از اجزای KerasNLP خارج از جعبه استفاده کنید یا در صورت نیاز آنها را سفارشی کنید. KerasNLP بر محاسبات درون گراف برای همه گردشهای کاری تاکید دارد، بنابراین میتوانید انتظار تولید آسان با استفاده از اکوسیستم TensorFlow را داشته باشید.
برای نصب KerasNLP، به نصب مراجعه کنید.
متن TensorFlow
بسته tensorflow_text
مجموعهای از کلاسها و عملیات مربوط به متن را فراهم میکند که آماده استفاده با TensorFlow هستند. این کتابخانه میتواند پیشپردازشهایی را که بهطور منظم مورد نیاز مدلهای مبتنی بر متن است، انجام دهد، و شامل سایر ویژگیهای مفید برای مدلسازی توالی است که توسط TensorFlow هسته ارائه نشده است.
برای جزئیات نصب، به راهنما مراجعه کنید
مدل های TensorFlow - NLP
مخزن TensorFlow Models پیاده سازی هایی از مدل های پیشرفته (SOTA) را ارائه می دهد. بسته tensorflow-models-official
شامل بسیاری از توابع و کلاسهای سطح بالا برای ساخت مدلهای SOTA NLP از جمله nlp.layers
، nlp.losses
، nlp.models
و nlp.tasks
است.
می توانید بسته را با pip
نصب کنید:
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
عملکرد NLP در زیر ماژول tfm.nlp
موجود است.
import tensorflow_models as tfm
tfm.nlp