Câu hỏi và trả lời BERT

Sử dụng mô hình TensorFlow Lite để trả lời các câu hỏi dựa trên nội dung của một đoạn văn nhất định.

Bắt đầu

Nếu bạn mới sử dụng TensorFlow Lite và đang làm việc với Android hoặc iOS, chúng tôi khuyên bạn nên khám phá các ứng dụng mẫu sau để có thể giúp bạn bắt đầu.

Ví dụ về Android Ví dụ về iOS

Nếu bạn đang sử dụng nền tảng không phải Android/iOS hoặc bạn đã quen với API TensorFlow Lite , bạn có thể tải xuống mô hình câu hỏi và câu trả lời ban đầu của chúng tôi.

Tải mô hình khởi đầu và từ vựng

Để biết thêm thông tin về siêu dữ liệu và các trường liên quan (ví dụ: vocab.txt ), hãy xem Đọc siêu dữ liệu từ mô hình .

Làm thế nào nó hoạt động

Mô hình này có thể được sử dụng để xây dựng một hệ thống có thể trả lời các câu hỏi của người dùng bằng ngôn ngữ tự nhiên. Nó được tạo bằng mô hình BERT được đào tạo trước, được tinh chỉnh trên bộ dữ liệu SQuAD 1.1.

BERT , hay Biểu diễn bộ mã hóa hai chiều từ Transformers, là một phương pháp biểu diễn ngôn ngữ được đào tạo trước để đạt được kết quả tiên tiến trên một loạt các tác vụ Xử lý ngôn ngữ tự nhiên.

Ứng dụng này sử dụng phiên bản nén của BERT, MobileBERT, chạy nhanh hơn gấp 4 lần và có kích thước mô hình nhỏ hơn gấp 4 lần.

SQuAD , hay Bộ dữ liệu trả lời câu hỏi của Stanford, là một bộ dữ liệu đọc hiểu bao gồm các bài viết từ Wikipedia và một tập hợp các cặp câu hỏi-trả lời cho mỗi bài viết.

Mô hình lấy một đoạn văn và một câu hỏi làm đầu vào, sau đó trả về một đoạn văn có nhiều khả năng trả lời câu hỏi nhất. Nó yêu cầu quá trình xử lý trước bán phức tạp bao gồm các bước mã thông báo và xử lý hậu kỳ được mô tả trong bài báo BERT và được triển khai trong ứng dụng mẫu.

Điểm chuẩn hiệu suất

Số điểm chuẩn hiệu suất được tạo bằng công cụ được mô tả ở đây .

Tên mẫu Kích thước mô hình Thiết bị CPU
Điện thoại di động Bert 100,5 Mb Pixel 3 (Android 10) 123 mili giây*
Pixel 4 (Android 10) 74 mili giây*
iPhone XS (iOS 12.4.1) 257 mili giây**

* 4 chủ đề được sử dụng.

** 2 luồng được sử dụng trên iPhone để có kết quả hoạt động tốt nhất.

Đầu ra ví dụ

Đoạn văn (Đầu vào)

Google LLC là một công ty công nghệ đa quốc gia của Mỹ chuyên về các dịch vụ và sản phẩm liên quan đến Internet, bao gồm công nghệ quảng cáo trực tuyến, công cụ tìm kiếm, điện toán đám mây, phần mềm và phần cứng. Nó được coi là một trong những công ty công nghệ Big Four, cùng với Amazon, Apple và Facebook.

Google được thành lập vào tháng 9 năm 1998 bởi Larry Page và Sergey Brin khi họ còn là Tiến sĩ. sinh viên tại Đại học Stanford ở California. Họ cùng nhau sở hữu khoảng 14% cổ phần và kiểm soát 56% quyền biểu quyết của cổ đông thông qua cổ phiếu giám sát. Họ hợp nhất Google thành một công ty tư nhân ở California vào ngày 4 tháng 9 năm 1998 tại California. Google sau đó được tái hợp nhất tại Delaware vào ngày 22 tháng 10 năm 2002. Đợt phát hành cổ phiếu lần đầu ra công chúng (IPO) diễn ra vào ngày 19 tháng 8 năm 2004 và Google chuyển đến trụ sở chính ở Mountain View, California, có biệt danh là Googleplex. Vào tháng 8 năm 2015, Google đã công bố kế hoạch tổ chức lại các lợi ích khác nhau của mình thành một tập đoàn có tên là Alphabet Inc. Google là công ty con hàng đầu của Alphabet và sẽ tiếp tục là công ty bảo trợ cho các lợi ích Internet của Alphabet. Sundar Pichai được bổ nhiệm làm CEO của Google, thay thế Larry Page trở thành CEO của Alphabet.

Câu hỏi (Đầu vào)

CEO của Google là ai?

Trả lời (Đầu ra)

Sundar Pichai

Đọc thêm về BERT