TensorFlow Text proporciona una colección de clases y operaciones relacionadas con el texto listas para usar con TensorFlow 2.0. La biblioteca puede realizar el preprocesamiento que requieren regularmente los modelos basados en texto e incluye otras funciones útiles para el modelado de secuencias que no proporciona el núcleo de TensorFlow.
El beneficio de usar estas operaciones en el preprocesamiento de texto es que se realizan en el gráfico de TensorFlow. No necesita preocuparse de que la tokenización en el entrenamiento sea diferente a la tokenización en la inferencia o la administración de scripts de preprocesamiento.
Instalar TensorFlow Text
Instalar usando pip
Al instalar TF Text con pip install, tenga en cuenta la versión de TensorFlow que está ejecutando, ya que debe especificar la versión correspondiente de TF Text.
pip install -U tensorflow-text==<version>
Construir desde la fuente
TensorFlow Text debe compilarse en el mismo entorno que TensorFlow. Por lo tanto, si compila TF Text manualmente, es muy recomendable que también compile TensorFlow.
Si construye en MacOS, debe tener coreutils instalado. Probablemente sea más fácil de hacer con Homebrew. En primer lugar, la acumulación TensorFlow de la fuente .
Clona el repositorio TF Text.
git clone https://github.com/tensorflow/text.git
Finalmente, ejecute el script de compilación para crear un paquete pip.
./oss_scripts/run_build.sh