TensorFlow Text cung cấp một tập hợp các lớp và hoạt động liên quan đến văn bản sẵn sàng sử dụng với TensorFlow 2.0. Thư viện có thể thực hiện tiền xử lý thường xuyên theo yêu cầu của các mô hình dựa trên văn bản và bao gồm các tính năng khác hữu ích cho mô hình trình tự không được cung cấp bởi TensorFlow cốt lõi.
Lợi ích của việc sử dụng các hoạt động này trong tiền xử lý văn bản của bạn là chúng được thực hiện trong biểu đồ TensorFlow. Bạn không cần phải lo lắng về việc token hóa trong đào tạo khác với token hóa ở phần suy luận hoặc quản lý các tập lệnh tiền xử lý.
Cài đặt TensorFlow Text
Cài đặt bằng pip
Khi cài đặt TF Text với cài đặt pip, hãy lưu ý phiên bản TensorFlow bạn đang chạy, vì bạn nên chỉ định phiên bản TF Text tương ứng.
pip install -U tensorflow-text==<version>
Xây dựng từ nguồn
TensorFlow Text phải được xây dựng trong cùng một môi trường với TensorFlow. Do đó, nếu bạn xây dựng Văn bản TF theo cách thủ công, bạn cũng nên xây dựng TensorFlow.
Nếu xây dựng trên MacOS, bạn phải cài đặt coreutils. Nó có lẽ dễ thực hiện nhất với Homebrew. Thứ nhất, xây dựng TensorFlow từ nguồn .
Sao chép repo Văn bản TF.
git clone https://github.com/tensorflow/text.git
Cuối cùng, chạy tập lệnh xây dựng để tạo một gói pip.
./oss_scripts/run_build.sh