Справочник по API для текстовых и NLP-библиотек.

Текст TensorFlow

Справочник по API

Пакет tensorflow_text предоставляет набор классов и операций, связанных с текстом, готовых к использованию с TensorFlow. Библиотека может выполнять предварительную обработку, регулярно требуемую текстовыми моделями, и включает в себя другие функции, полезные для моделирования последовательностей, не предоставляемые ядром TensorFlow.

Подробности установки смотрите в руководстве

Модели TensorFlow — НЛП

Справочник по API

Репозиторий моделей TensorFlow предоставляет реализации современных моделей (SOTA). tensorflow-models-official включает множество высокоуровневых функций и классов для построения моделей SOTA NLP, включая nlp.layers , nlp.losses , nlp.models и nlp.tasks .

Вы можете установить пакет с помощью pip :

$ pip install tensorflow-models-official  # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build

Функциональность NLP доступна в подмодуле tfm.nlp .

import tensorflow_models as tfm
tfm.nlp