Введение в текст TensorFlow

TensorFlow Text предоставляет коллекцию классов и операций, связанных с текстом, готовых к использованию с TensorFlow 2.0. Библиотека может выполнять предварительную обработку, регулярно необходимую для текстовых моделей, и включает в себя другие функции, полезные для моделирования последовательностей, не предусмотренные ядром TensorFlow.

Преимущество использования этих операций при предварительной обработке текста заключается в том, что они выполняются в графе TensorFlow. Вам не нужно беспокоиться о том, что токенизация при обучении отличается от токенизации при выводе или управлении сценариями предварительной обработки.

Установить текст TensorFlow

Установить с помощью pip

При установке TF Text с помощью pip install обратите внимание на версию TensorFlow, которую вы используете, поскольку вам следует указать соответствующую версию TF Text.

pip install -U tensorflow-text==<version>

Сборка из исходного кода

TensorFlow Text должен быть создан в той же среде, что и TensorFlow. Таким образом, если вы вручную собираете TF Text, настоятельно рекомендуется также собрать TensorFlow.

При сборке на MacOS у вас должен быть установлен coreutils. Наверное, проще всего это сделать с помощью Homebrew. Сначала соберите TensorFlow из исходников .

Клонируйте репозиторий TF Text.

git clone  https://github.com/tensorflow/text.git

Наконец, запустите сценарий сборки, чтобы создать пакет pip.

./oss_scripts/run_build.sh