Os tutoriais de processamento de texto do TensorFlow fornecem instruções passo a passo para resolver problemas comuns de processamento de texto e linguagem natural (NLP).
O TensorFlow fornece duas soluções para processamento de texto e linguagem natural: KerasNLP e TensorFlow Text. KerasNLP é uma biblioteca NLP de alto nível que inclui todos os modelos baseados em Transformer mais recentes, bem como utilitários de tokenização de nível inferior. É a solução recomendada para a maioria dos casos de uso de PNL.
Se precisar de acesso a ferramentas de processamento de texto de nível inferior, você pode usar o TensorFlow Text. O TensorFlow Text fornece uma coleção de operações e bibliotecas para ajudá-lo a trabalhar com entradas em formato de texto, como strings de texto bruto ou documentos.
KerasNLP
- Introdução ao KerasNLP : aprenda o KerasNLP realizando análises de sentimento em níveis progressivos de complexidade, desde o uso de um modelo pré-treinado até a construção do seu próprio Transformer do zero.
geração de texto
- Geração de texto com um RNN : gere texto usando um RNN baseado em caracteres e um conjunto de dados da escrita de Shakespeare.
- Tradução automática neural com atenção : treine um modelo de sequência a sequência (seq2seq) para tradução de espanhol para inglês.
- Tradução automática neural com um Transformer e Keras : Crie e treine um modelo Transformer sequência a sequência para traduzir do português para o inglês.
- Legendagem de imagem com atenção visual : Gere legendas de imagem usando um modelo de decodificador Transformer construído com camadas de atenção.
classificação de texto
- Classifique o texto com o BERT : faça o ajuste fino do BERT para realizar a análise de sentimento em um conjunto de dados de resenhas de filmes IMDb em texto simples.
- Classificação de texto com um RNN : treine um RNN para realizar análises de sentimento em resenhas de filmes IMDb.
- Métricas do TF.Text : saiba mais sobre as métricas disponíveis por meio do TensorFlow Text. A biblioteca contém implementações de métricas de similaridade de texto, como ROUGE-L, que podem ser usadas para avaliação automática de modelos de geração de texto.
PNL com BERT
- Resolva tarefas GLUE usando BERT em TPU : saiba como ajustar o BERT para tarefas do benchmark GLUE .
- Ajustando um modelo BERT : ajuste um modelo BERT usando o TensorFlow Model Garden .
- Aprendizado de linguagem profunda com reconhecimento de incerteza com BERT-SNGP : aplique o SNGP a uma tarefa de compreensão de linguagem natural (NLU). Com base em um codificador BERT, você aprimorará a capacidade do modelo NLU de detectar consultas fora do escopo.
Incorporações
- Incorporações de palavras : treine suas próprias incorporações de palavras usando um modelo Keras simples para uma tarefa de classificação de sentimentos e, em seguida, visualize-as usando o Projetor de incorporação .
- Matriz de camada de incorporação de início a quente : aprenda como "iniciar a quente" o treinamento para um modelo de classificação de sentimento de texto.
- word2vec : treine um modelo word2vec em um pequeno conjunto de dados e visualize as incorporações treinadas no projetor de incorporação .