La guía de procesamiento de texto de TensorFlow documenta bibliotecas y flujos de trabajo para el procesamiento de lenguaje natural (NLP) y presenta conceptos importantes para trabajar con texto.
Keras PNL
KerasNLP es una biblioteca de procesamiento de lenguaje natural (NLP) de alto nivel que incluye todos los modelos más recientes basados en Transformer, así como utilidades de tokenización de nivel inferior. Es la solución recomendada para la mayoría de los casos de uso de NLP.
- Primeros pasos con KerasNLP : Aprenda KerasNLP realizando un análisis de sentimientos en niveles progresivos de complejidad, desde el uso de un modelo previamente entrenado hasta la construcción de su propio Transformer desde cero.
tf.strings
El módulo tf.strings proporciona operaciones para trabajar con tensores de cadenas.
- Cadenas Unicode : represente cadenas Unicode en TensorFlow y manipúlelas usando equivalentes Unicode de operaciones de cadena estándar.
Texto de TensorFlow
Si necesita acceso a herramientas de procesamiento de texto de nivel inferior, puede usar TensorFlow Text. TensorFlow Text proporciona una colección de operaciones y bibliotecas para ayudarlo a trabajar con entradas en forma de texto, como cadenas de texto sin procesar o documentos.
- Introducción a TensorFlow Text : aprenda a instalar TensorFlow Text o compilarlo desde el código fuente.
- Conversión de operadores de texto de TensorFlow a TensorFlow Lite : convierta un modelo de texto de TensorFlow a TensorFlow Lite para su implementación en dispositivos móviles, integrados y de IoT.
Preprocesamiento
- Preprocesamiento de BERT con texto TF : use las operaciones de preprocesamiento de texto de TensorFlow para transformar datos de texto en entradas para BERT.
- Tokenización con TF Text : comprenda las opciones de tokenización proporcionadas por TensorFlow Text. Aprenda cuándo es posible que desee usar una opción sobre otra y cómo se llaman estos tokenizadores desde su modelo.
- Tokenizadores de subpalabras : genere un vocabulario de subpalabras a partir de un conjunto de datos y utilícelo para crear un
text.BertTokenizera partir del vocabulario.
Modelos TensorFlow – PNL
La biblioteca TensorFlow Models - NLP proporciona primitivos de Keras que se pueden ensamblar en modelos basados en Transformer y clases de andamios que permiten una fácil experimentación con arquitecturas novedosas.
- Introducción a la biblioteca de NLP de TensorFlow Models : Cree modelos basados en Transformer para tareas comunes de NLP, incluido el entrenamiento previo, el etiquetado de tramos y la clasificación utilizando bloques de creación de la biblioteca de modelado de NLP .
- Personalización de un codificador de transformador : personalice
tfm.nlp.networks.EncoderScaffold, un andamio de red de codificador basado en transformador bidireccional, para emplear nuevas arquitecturas de red.