Attend the Women in ML Symposium on December 7 Register now

Introducción a TensorFlow Text

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

TensorFlow Text proporciona una colección de clases y operaciones relacionadas con el texto listas para usar con TensorFlow 2.0. La biblioteca puede realizar el preprocesamiento que requieren regularmente los modelos basados ​​en texto e incluye otras funciones útiles para el modelado de secuencias que no proporciona el núcleo de TensorFlow.

El beneficio de usar estas operaciones en el preprocesamiento de texto es que se realizan en el gráfico de TensorFlow. No necesita preocuparse de que la tokenización en el entrenamiento sea diferente a la tokenización en la inferencia o la administración de scripts de preprocesamiento.

Instalar TensorFlow Text

Instalar usando pip

Al instalar TF Text con pip install, tenga en cuenta la versión de TensorFlow que está ejecutando, ya que debe especificar la versión correspondiente de TF Text.

pip install -U tensorflow-text==<version>

Construir desde la fuente

TensorFlow Text debe compilarse en el mismo entorno que TensorFlow. Por lo tanto, si compila TF Text manualmente, es muy recomendable que también compile TensorFlow.

Si construye en MacOS, debe tener coreutils instalado. Probablemente sea más fácil de hacer con Homebrew. En primer lugar, la acumulación TensorFlow de la fuente .

Clona el repositorio TF Text.

git clone  https://github.com/tensorflow/text.git

Finalmente, ejecute el script de compilación para crear un paquete pip.

./oss_scripts/run_build.sh