KerasNLP
Le moyen le plus simple de commencer à traiter du texte dans TensorFlow consiste à utiliser KerasNLP, une bibliothèque de traitement du langage naturel qui fournit des composants modulaires avec des pondérations et des architectures prédéfinies de pointe. Vous pouvez utiliser les composants KerasNLP prêts à l'emploi ou les personnaliser selon vos besoins. KerasNLP met l'accent sur le calcul intégré au graphique pour tous les flux de travail, vous pouvez donc vous attendre à une production facile à l'aide de l'écosystème TensorFlow.
Pour installer KerasNLP, voir Installation .
Texte TensorFlow
Le package tensorflow_text fournit une collection de classes et d'opérations liées au texte prêtes à être utilisées avec TensorFlow. La bibliothèque peut effectuer le prétraitement régulièrement requis par les modèles basés sur du texte et comprend d'autres fonctionnalités utiles pour la modélisation de séquences non fournies par le noyau TensorFlow.
Pour les détails d'installation, reportez-vous au guide
Modèles TensorFlow - PNL
Le référentiel TensorFlow Models fournit des implémentations de modèles de pointe (SOTA). Le package pip tensorflow-models-official comprend de nombreuses fonctions et classes de haut niveau pour créer des modèles SOTA NLP, notamment nlp.layers , nlp.losses , nlp.models et nlp.tasks .
Vous pouvez installer le package avec pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
La fonctionnalité NLP est disponible dans le sous-module tfm.nlp .
import tensorflow_models as tfm
tfm.nlp