آموزش پردازش متن TensorFlow

آموزش های پردازش متن TensorFlow دستورالعمل های گام به گام را برای حل مشکلات رایج متن و پردازش زبان طبیعی (NLP) ارائه می دهد.

TensorFlow دو راه حل برای پردازش متن و زبان طبیعی ارائه می دهد: KerasNLP و TensorFlow Text. KerasNLP یک کتابخانه NLP سطح بالا است که شامل تمام آخرین مدل‌های مبتنی بر Transformer و همچنین ابزارهای توکن‌سازی سطح پایین‌تر است. این راه حل توصیه شده برای اکثر موارد استفاده از NLP است.

اگر نیاز به دسترسی به ابزارهای پردازش متن سطح پایین دارید، می توانید از TensorFlow Text استفاده کنید. TensorFlow Text مجموعه‌ای از عملیات‌ها و کتابخانه‌ها را فراهم می‌کند تا به شما در کار با ورودی به شکل متنی مانند رشته‌های متن خام یا اسناد کمک کند.

KerasNLP

  • شروع کار با KerasNLP : KerasNLP را با انجام تجزیه و تحلیل احساسات در سطوح پیچیدگی تدریجی، از استفاده از یک مدل از پیش آموزش دیده تا ساخت ترانسفورماتور خود از ابتدا یاد بگیرید.

تولید متن

طبقه بندی متن

  • طبقه بندی متن با BERT : BERT را برای انجام تجزیه و تحلیل احساسات بر روی مجموعه داده ای از نقدهای فیلم IMDb متن ساده تنظیم کنید.
  • طبقه‌بندی متن با RNN : یک RNN را برای انجام تجزیه و تحلیل احساسات در بررسی فیلم‌های IMDb آموزش دهید.
  • TF.Text Metrics : با معیارهای موجود از طریق TensorFlow Text آشنا شوید. این کتابخانه شامل پیاده‌سازی معیارهای مشابهت متن مانند ROUGE-L است که می‌تواند برای ارزیابی خودکار مدل‌های تولید متن استفاده شود.

NLP با BERT

جاسازی ها