TensorFlow Text, TensorFlow 2.0 ile kullanıma hazır, metinle ilgili sınıflar ve işlemler koleksiyonu sağlar. Kitaplık, metin tabanlı modellerin düzenli olarak gerektirdiği ön işlemeyi gerçekleştirebilir ve çekirdek TensorFlow tarafından sağlanmayan dizi modelleme için yararlı olan diğer özellikleri içerir.
Bu işlemleri metin ön işlemenizde kullanmanın yararı, bunların TensorFlow grafiğinde yapılmasıdır. Eğitimde belirteçleştirmenin çıkarımdaki belirteçleştirmeden farklı olması veya ön işleme komut dosyalarını yönetme konusunda endişelenmenize gerek yoktur.
TensorFlow Metnini Yükleyin
pip kullanarak yükleyin
TF Text'i pip kurulumu ile kurarken, ilgili TF Text sürümünü belirtmeniz gerektiğinden, çalıştırdığınız TensorFlow sürümünü not edin.
pip install -U tensorflow-text==<version>
Kaynaktan oluştur
TensorFlow Metin, TensorFlow ile aynı ortamda oluşturulmalıdır. Bu nedenle, TF Metni manuel olarak oluşturuyorsanız, TensorFlow'u da oluşturmanız şiddetle tavsiye edilir.
MacOS üzerine kuruluyorsanız, coreutils kurulu olmalıdır. Homebrew ile yapmak muhtemelen en kolayıdır. İlk olarak, yapı TensorFlow kaynağından .
TF Metin deposunu klonlayın.
git clone https://github.com/tensorflow/text.git
Son olarak, bir pip paketi oluşturmak için derleme betiğini çalıştırın.
./oss_scripts/run_build.sh