TensorFlow Text предоставляет набор классов и операций, связанных с текстом, готовых к использованию с TensorFlow 2.0. Библиотека может выполнять предварительную обработку, регулярно требуемую для текстовых моделей, и включает другие функции, полезные для моделирования последовательности, не предоставляемые ядром TensorFlow.
Преимущество использования этих операций в предварительной обработке текста заключается в том, что они выполняются в графе TensorFlow. Вам не нужно беспокоиться о том, что токенизация во время обучения будет отличаться от токенизации при выводе или управления сценариями предварительной обработки.
Установить TensorFlow Text
Установить с помощью pip
При установке TF Text с помощью pip install обратите внимание на версию TensorFlow, которую вы используете, так как вы должны указать соответствующую версию TF Text.
pip install -U tensorflow-text==<version>
Сборка из исходников
TensorFlow Text должен создаваться в той же среде, что и TensorFlow. Таким образом, если вы вручную создаете TF Text, настоятельно рекомендуется также создать TensorFlow.
При сборке на MacOS у вас должен быть установлен coreutils. Наверное, проще всего это сделать с помощью Homebrew. Во- первых, сборка TensorFlow из источника .
Клонируйте репозиторий TF Text.
git clone https://github.com/tensorflow/text.git
Наконец, запустите сценарий сборки, чтобы создать пакет pip.
./oss_scripts/run_build.sh