Les didacticiels de traitement de texte TensorFlow fournissent des instructions détaillées pour résoudre les problèmes courants de traitement de texte et de langage naturel (NLP).
TensorFlow fournit deux solutions pour le traitement du texte et du langage naturel : KerasNLP et TensorFlow Text. KerasNLP est une bibliothèque NLP de haut niveau qui inclut tous les derniers modèles basés sur Transformer ainsi que des utilitaires de tokenisation de niveau inférieur. C'est la solution recommandée pour la plupart des cas d'utilisation du NLP.
Si vous avez besoin d'accéder à des outils de traitement de texte de niveau inférieur, vous pouvez utiliser TensorFlow Text. TensorFlow Text fournit une collection d'opérations et de bibliothèques pour vous aider à travailler avec des entrées sous forme de texte, telles que des chaînes de texte brutes ou des documents.
KerasPNL
- Premiers pas avec KerasNLP : découvrez KerasNLP en effectuant une analyse des sentiments à des niveaux de complexité progressifs, de l'utilisation d'un modèle pré-formé à la création de votre propre transformateur à partir de zéro.
Génération de texte
- Génération de texte avec un RNN : générez du texte à l'aide d'un RNN basé sur des caractères et d'un ensemble de données de l'écriture de Shakespeare.
- Traduction automatique neuronale avec attention : entraînez un modèle de séquence à séquence (seq2seq) pour la traduction de l'espagnol vers l'anglais.
- Traduction automatique neuronale avec un transformateur et Keras : créez et entraînez un modèle de transformateur séquence à séquence pour traduire le portugais vers l'anglais.
- Légende d'images avec attention visuelle : générez des légendes d'images à l'aide d'un modèle de transformateur-décodeur construit avec des couches d'attention.
Classement du texte
- Classifier le texte avec BERT : Ajustez BERT pour effectuer une analyse des sentiments sur un ensemble de données de critiques de films IMDb en texte brut.
- Classification de texte avec un RNN : formez un RNN pour effectuer une analyse des sentiments sur les critiques de films IMDb.
- Métriques TF.Text : découvrez les métriques disponibles via TensorFlow Text. La bibliothèque contient des implémentations de métriques de similarité de texte telles que ROUGE-L, qui peuvent être utilisées pour l'évaluation automatique des modèles de génération de texte.
PNL avec BERT
- Résoudre des tâches GLUE à l'aide de BERT sur TPU : découvrez comment affiner BERT pour les tâches du benchmark GLUE .
- Ajustement d'un modèle BERT : Ajustez un modèle BERT à l'aide de TensorFlow Model Garden .
- Apprentissage des langues en profondeur sensible à l'incertitude avec BERT-SNGP : Appliquez SNGP à une tâche de compréhension du langage naturel (NLU). En vous appuyant sur un encodeur BERT, vous améliorerez la capacité du modèle NLU à détecter les requêtes hors champ.
Incrustations
- Embeddings de mots : entraînez vos propres incorporations de mots à l'aide d'un modèle Keras simple pour une tâche de classification des sentiments, puis visualisez-les à l'aide du projecteur d'intégration .
- Matrice de couches d'intégration à démarrage à chaud : découvrez comment "démarrer à chaud" la formation pour un modèle de classification des sentiments de texte.
- word2vec : formez un modèle word2vec sur un petit ensemble de données et visualisez les intégrations formées dans le projecteur d'intégration .