Cảm ơn bạn đã theo dõi Google I/O. Xem tất cả các phiên theo yêu cầu Xem theo yêu cầu

Tham chiếu API cho các thư viện văn bản và NLP.

Máy ảnhNLP

Tham chiếu API

Cách dễ nhất để bắt đầu xử lý văn bản trong TensorFlow là sử dụng KerasNLP, một thư viện xử lý ngôn ngữ tự nhiên cung cấp các thành phần mô-đun với các trọng lượng và kiến ​​trúc đặt trước tiên tiến nhất. Bạn có thể sử dụng các thành phần KerasNLP sẵn có hoặc tùy chỉnh chúng khi cần. KerasNLP nhấn mạnh tính toán trong biểu đồ cho tất cả các quy trình công việc, vì vậy bạn có thể mong đợi quá trình sản xuất dễ dàng bằng cách sử dụng hệ sinh thái TensorFlow.

Để cài đặt KerasNLP, hãy xem Cài đặt .

Văn bản TensorFlow

Tham chiếu API

Gói tensorflow_text cung cấp một tập hợp các lớp và hoạt động liên quan đến văn bản sẵn sàng để sử dụng với TensorFlow. Thư viện có thể thực hiện tiền xử lý thường xuyên theo yêu cầu của các mô hình dựa trên văn bản và bao gồm các tính năng khác hữu ích cho việc lập mô hình trình tự mà TensorFlow lõi không cung cấp.

Để biết chi tiết cài đặt, hãy tham khảo hướng dẫn

Mô hình TensorFlow - NLP

Tham chiếu API

Kho lưu trữ Mô hình TensorFlow cung cấp triển khai các mô hình tiên tiến nhất (SOTA). Gói tensorflow-models-official pip bao gồm nhiều hàm và lớp cấp cao để xây dựng các mô hình SOTA NLP bao gồm nlp.layers , nlp.losses , nlp.modelsnlp.tasks .

Bạn có thể cài đặt gói với pip :

$ pip install tensorflow-models-official  # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build

Chức năng NLP có sẵn trong mô-đun con tfm.nlp .

import tensorflow_models as tfm
tfm.nlp