TensorFlow Text มีชุดของคลาสที่เกี่ยวข้องกับข้อความและการดำเนินการที่พร้อมใช้งานกับ TensorFlow 2.0 ไลบรารีสามารถทำการประมวลผลล่วงหน้าเป็นประจำซึ่งจำเป็นสำหรับโมเดลแบบข้อความ และรวมถึงคุณลักษณะอื่นๆ ที่เป็นประโยชน์สำหรับการสร้างโมเดลตามลำดับที่ไม่ได้จัดเตรียมโดย TensorFlow หลัก
ประโยชน์ของการใช้ตัวเลือกเหล่านี้ในการประมวลผลข้อความล่วงหน้าคือดำเนินการในกราฟ TensorFlow คุณไม่จำเป็นต้องกังวลว่าการใช้โทเค็นในการฝึกอบรมจะแตกต่างจากการใช้โทเค็นในการอนุมาน หรือการจัดการสคริปต์การประมวลผลล่วงหน้า
ติดตั้ง TensorFlow Text
ติดตั้งโดยใช้ pip
เมื่อติดตั้ง TF Text ด้วยการติดตั้ง pip ให้สังเกตเวอร์ชันของ TensorFlow ที่คุณใช้งาน เนื่องจากคุณควรระบุเวอร์ชันของ TF Text ที่เกี่ยวข้อง
pip install -U tensorflow-text==<version>
สร้างจากแหล่งที่มา
TensorFlow Text ต้องสร้างขึ้นในสภาพแวดล้อมเดียวกันกับ TensorFlow ดังนั้น หากคุณสร้าง TF Text ด้วยตนเอง ขอแนะนำเป็นอย่างยิ่งให้คุณสร้าง TensorFlow ด้วย
หากสร้างบน MacOS คุณต้องติดตั้ง coreutils มันอาจจะง่ายที่สุดที่จะทำกับ Homebrew ครั้งแรกที่สร้าง TensorFlow จากแหล่ง
โคลน repo ข้อความ TF
git clone https://github.com/tensorflow/text.git
สุดท้าย รันสคริปต์สร้างเพื่อสร้างแพ็คเกจ pip
./oss_scripts/run_build.sh