КерасНЛП
Самый простой способ начать обработку текста в TensorFlow — использовать KerasNLP, библиотеку обработки естественного языка, которая предоставляет модульные компоненты с современными предустановленными весами и архитектурами. Вы можете использовать готовые компоненты KerasNLP или настроить их по мере необходимости. KerasNLP уделяет особое внимание вычислениям в графе для всех рабочих процессов, поэтому вы можете рассчитывать на простоту производства с использованием экосистемы TensorFlow.
Чтобы установить KerasNLP, см. Установка .
Текст TensorFlow
Пакет tensorflow_text предоставляет набор классов и операций, связанных с текстом, готовых к использованию с TensorFlow. Библиотека может выполнять предварительную обработку, регулярно требуемую текстовыми моделями, и включает в себя другие функции, полезные для моделирования последовательностей, не предоставляемые ядром TensorFlow.
Подробности установки смотрите в руководстве
Модели TensorFlow — НЛП
Репозиторий моделей TensorFlow предоставляет реализации современных моделей (SOTA). tensorflow-models-official включает множество высокоуровневых функций и классов для построения моделей SOTA NLP, включая nlp.layers , nlp.losses , nlp.models и nlp.tasks .
Вы можете установить пакет с помощью pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Функциональность NLP доступна в подмодуле tfm.nlp .
import tensorflow_models as tfm
tfm.nlp