ข้อมูลเบื้องต้นเกี่ยวกับข้อความ TensorFlow

TensorFlow Text มีคอลเลกชันของคลาสที่เกี่ยวข้องกับข้อความและการดำเนินการที่พร้อมใช้งานกับ TensorFlow 2.0 ไลบรารีสามารถทำการประมวลผลล่วงหน้าซึ่งจำเป็นสำหรับโมเดลแบบข้อความเป็นประจำ และมีคุณสมบัติอื่นๆ ที่เป็นประโยชน์สำหรับการสร้างแบบจำลองลำดับที่ไม่ได้มาจาก Core TensorFlow

ประโยชน์ของการใช้ Ops เหล่านี้ในการประมวลผลข้อความล่วงหน้าคือทำได้ในกราฟ TensorFlow คุณไม่จำเป็นต้องกังวลเกี่ยวกับโทเค็นไลเซชันในการฝึกอบรมที่แตกต่างจากโทเค็นไลเซชันในการอนุมาน หรือการจัดการสคริปต์การประมวลผลล่วงหน้า

ติดตั้งข้อความ TensorFlow

ติดตั้งโดยใช้ pip

เมื่อติดตั้ง TF Text ด้วยการติดตั้ง pip ให้สังเกตเวอร์ชันของ TensorFlow ที่คุณใช้งานอยู่ เนื่องจากคุณควรระบุเวอร์ชัน TF Text ที่เกี่ยวข้อง

pip install -U tensorflow-text==<version>

สร้างจากแหล่งที่มา

TensorFlow Text ต้องสร้างขึ้นในสภาพแวดล้อมเดียวกันกับ TensorFlow ดังนั้น หากคุณสร้าง TF Text ด้วยตนเอง ขอแนะนำเป็นอย่างยิ่งให้คุณสร้าง TensorFlow ด้วย

หากสร้างบน MacOS คุณต้องติดตั้ง coreutils มันอาจจะง่ายที่สุดที่จะทำกับ Homebrew ขั้นแรก สร้าง TensorFlow จากแหล่งที่มา

โคลน repo ข้อความ TF

git clone  https://github.com/tensorflow/text.git

สุดท้าย ให้รันสคริปต์บิลด์เพื่อสร้างแพ็คเกจ pip

./oss_scripts/run_build.sh