O TensorFlow Text fornece uma coleção de classes e operações relacionadas a texto prontas para uso com o TensorFlow 2.0. A biblioteca pode realizar o pré-processamento regularmente exigido por modelos baseados em texto e inclui outros recursos úteis para modelagem de sequência não fornecidos pelo TensorFlow central.
A vantagem de usar essas operações no pré-processamento de texto é que elas são feitas no gráfico do TensorFlow. Você não precisa se preocupar se a tokenização no treinamento é diferente da tokenização na inferência ou pelo gerenciamento de scripts de pré-processamento.
Instale o TensorFlow Text
Instalar usando pip
Ao instalar o TF Text com pip install, observe a versão do TensorFlow que você está executando, pois deve especificar a versão correspondente do TF Text.
pip install -U tensorflow-text==<version>
Construir a partir da fonte
O TensorFlow Text deve ser criado no mesmo ambiente do TensorFlow. Portanto, se você criar manualmente o TF Text, é altamente recomendável que você também crie o TensorFlow.
Se estiver construindo no MacOS, você deve ter o coreutils instalado. Provavelmente é mais fácil de fazer com o Homebrew. Primeiro, TensorFlow construção da fonte .
Clone o repositório TF Text.
git clone https://github.com/tensorflow/text.git
Por fim, execute o script de construção para criar um pacote pip.
./oss_scripts/run_build.sh