TensorFlow Text, TensorFlow 2.0 ile kullanıma hazır, metinle ilgili sınıflar ve işlemlerden oluşan bir koleksiyon sağlar. Kitaplık, metin tabanlı modellerin düzenli olarak gerektirdiği ön işlemeyi gerçekleştirebilir ve çekirdek TensorFlow tarafından sağlanmayan, dizi modelleme için yararlı olan diğer özellikleri içerir.
Bu işlemleri metin ön işlemenizde kullanmanın yararı, bunların TensorFlow grafiğinde yapılmasıdır. Eğitimdeki tokenizasyonun çıkarımdaki tokenizasyondan farklı olması veya ön işleme komut dosyalarının yönetilmesi konusunda endişelenmenize gerek yok.
TensorFlow Text'i yükleyin
Pip kullanarak kurulum
TF Text'i pip kurulumuyla yüklerken, çalıştırdığınız TensorFlow sürümünü not edin; çünkü karşılık gelen TF Text sürümünü belirtmeniz gerekir.
pip install -U tensorflow-text==<version>
Kaynaktan derle
TensorFlow Text, TensorFlow ile aynı ortamda oluşturulmalıdır. Bu nedenle, TF Metnini manuel olarak oluşturursanız TensorFlow'u da oluşturmanız önemle tavsiye edilir.
MacOS üzerinde kurulum yapıyorsanız, coreutils'in kurulu olması gerekir. Homebrew ile yapmak muhtemelen en kolay olanıdır. İlk olarak TensorFlow'u kaynaktan oluşturun.
TF Metin deposunu klonlayın.
git clone https://github.com/tensorflow/text.git
Son olarak, bir pip paketi oluşturmak için derleme komut dosyasını çalıştırın.
./oss_scripts/run_build.sh