TensorFlow Text fournit une collection de classes et d'opérations liées au texte prêtes à être utilisées avec TensorFlow 2.0. La bibliothèque peut effectuer le prétraitement régulièrement requis par les modèles basés sur du texte et comprend d'autres fonctionnalités utiles pour la modélisation de séquences non fournies par le cœur TensorFlow.
L'avantage d'utiliser ces opérations dans le prétraitement de votre texte est qu'elles sont effectuées dans le graphique TensorFlow. Vous n'avez pas à vous soucier du fait que la tokenisation lors de la formation soit différente de la tokenisation lors de l'inférence ou de la gestion des scripts de prétraitement.
Installer le texte TensorFlow
Installer à l'aide de pip
Lors de l'installation de TF Text avec pip install, notez la version de TensorFlow que vous exécutez, car vous devez spécifier la version correspondante de TF Text.
pip install -U tensorflow-text==<version>
Construire à partir de la source
TensorFlow Text doit être créé dans le même environnement que TensorFlow. Ainsi, si vous créez manuellement TF Text, il est fortement recommandé de créer également TensorFlow.
Si vous construisez sur MacOS, vous devez avoir installé coreutils. C'est probablement plus facile à faire avec Homebrew. Tout d' abord, la construction tensorflow de la source .
Clonez le dépôt TF Text.
git clone https://github.com/tensorflow/text.git
Enfin, exécutez le script de génération pour créer un package pip.
./oss_scripts/run_build.sh