Introdução ao texto do TensorFlow

O TensorFlow Text fornece uma coleção de classes e operações relacionadas a texto prontas para uso com o TensorFlow 2.0. A biblioteca pode realizar o pré-processamento regularmente exigido por modelos baseados em texto e inclui outros recursos úteis para modelagem de sequência não fornecidos pelo TensorFlow principal.

A vantagem de usar essas operações no pré-processamento de texto é que elas são feitas no gráfico do TensorFlow. Você não precisa se preocupar com o fato de a tokenização no treinamento ser diferente da tokenização na inferência ou do gerenciamento de scripts de pré-processamento.

Instale o texto do TensorFlow

Instalar usando pip

Ao instalar o TF Text com pip install, observe a versão do TensorFlow que você está executando, pois você deve especificar a versão correspondente do TF Text.

pip install -U tensorflow-text==<version>

Construir a partir da fonte

O TensorFlow Text deve ser criado no mesmo ambiente do TensorFlow. Portanto, se você criar o TF Text manualmente, é altamente recomendável que você também crie o TensorFlow.

Se estiver construindo no MacOS, você deverá ter o coreutils instalado. Provavelmente é mais fácil fazer isso com o Homebrew. Primeiro, crie o TensorFlow a partir do source .

Clone o repositório TF Text.

git clone  https://github.com/tensorflow/text.git

Finalmente, execute o script de construção para criar um pacote pip.

./oss_scripts/run_build.sh