Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Введение в TensorFlow Text

TensorFlow Text предоставляет набор классов и операций, связанных с текстом, готовых к использованию с TensorFlow 2.0. Библиотека может выполнять предварительную обработку, регулярно требуемую для текстовых моделей, и включает другие функции, полезные для моделирования последовательности, не предоставляемые ядром TensorFlow.

Преимущество использования этих операций в предварительной обработке текста заключается в том, что они выполняются в графе TensorFlow. Вам не нужно беспокоиться о том, что токенизация во время обучения будет отличаться от токенизации при выводе или управления сценариями предварительной обработки.

Установить TensorFlow Text

Установить с помощью pip

При установке TF Text с помощью pip install обратите внимание на версию TensorFlow, которую вы используете, так как вы должны указать соответствующую версию TF Text.

pip install -U tensorflow-text==<version>

Сборка из исходников

TensorFlow Text должен создаваться в той же среде, что и TensorFlow. Таким образом, если вы вручную создаете TF Text, настоятельно рекомендуется также создать TensorFlow.

При сборке на MacOS у вас должен быть установлен coreutils. Наверное, проще всего это сделать с помощью Homebrew. Во- первых, сборка TensorFlow из источника .

Клонируйте репозиторий TF Text.

git clone  https://github.com/tensorflow/text.git

Наконец, запустите сценарий сборки, чтобы создать пакет pip.

./oss_scripts/run_build.sh