TensorFlow Text fornisce una raccolta di classi e operazioni relative al testo pronte per l'uso con TensorFlow 2.0. La libreria può eseguire la pre-elaborazione regolarmente richiesta dai modelli basati su testo e include altre funzionalità utili per la modellazione di sequenze non fornite dal core TensorFlow.
Il vantaggio dell'utilizzo di queste operazioni nella preelaborazione del testo è che vengono eseguite nel grafico TensorFlow. Non è necessario preoccuparsi che la tokenizzazione nell'addestramento sia diversa dalla tokenizzazione nell'inferenza o nella gestione degli script di preelaborazione.
Installa TensorFlow Text
Installa usando pip
Quando si installa TF Text con pip install, prendere nota della versione di TensorFlow in esecuzione, poiché è necessario specificare la versione corrispondente di TF Text.
pip install -U tensorflow-text==<version>
Costruisci dalla fonte
TensorFlow Text deve essere creato nello stesso ambiente di TensorFlow. Pertanto, se si compila manualmente TF Text, si consiglia vivamente di creare anche TensorFlow.
Se costruisci su MacOS, devi avere installato coreutils. Probabilmente è più facile da fare con Homebrew. In primo luogo, costruire tensorflow dai sorgenti .
Clona il repository di testo TF.
git clone https://github.com/tensorflow/text.git
Infine, esegui lo script di compilazione per creare un pacchetto pip.
./oss_scripts/run_build.sh