Trang này được dịch bởi Cloud Translation API.
Switch to English

trọng lượng không đáng kể Trim

Duy trì bởi TensorFlow Mẫu Tối ưu hóa

Tài liệu này cung cấp một cái nhìn tổng quan về mô hình tỉa để giúp bạn xác định nó như thế nào phù hợp với trường hợp sử dụng của bạn.

Tổng quat

trọng lượng độ lớn dựa trên cắt tỉa dần zero ra trọng số mô hình trong quá trình đào tạo để đạt được mô hình thưa thớt. mô hình thưa thớt được dễ dàng hơn để nén, và chúng ta có thể bỏ qua zero trong suy luận để cải thiện độ trễ.

Kỹ thuật này mang lại những cải tiến thông qua nén mô hình. Trong tương lai, hỗ trợ khuôn khổ cho kỹ thuật này sẽ cung cấp những cải thiện độ trễ. Chúng tôi đã nhìn thấy lên đến 6x cải thiện nén mô hình với sự mất mát tối thiểu chính xác.

Kỹ thuật này đang được đánh giá trong các ứng dụng bài phát biểu khác nhau, chẳng hạn như nhận dạng giọng nói và text-to-speech, và đã được thử nghiệm trên khắp nhiều mô hình tầm nhìn và bản dịch.

API tương thích Matrix

Người dùng có thể áp dụng cắt tỉa với các API sau:

  • Xây dựng mô hình: tf.keras với chỉ tuần tự và các mô hình chức năng
  • phiên bản TensorFlow: TF 1.x cho các phiên bản 1.14+ và 2.x.
    • tf.compat.v1 với một gói TF 2.X và tf.compat.v2 với một gói 1.x TF không được hỗ trợ.
  • thực hiện chế độ TensorFlow: cả hai đồ thị và háo hức
  • Distributed đào tạo: tf.distribute với chỉ thực hiện đồ thị

Nó nằm trên lộ trình của chúng tôi để hỗ trợ thêm trong các lĩnh vực sau:

Các kết quả

Phân loại ảnh

Mô hình Non-thưa thớt Top-1 Độ chính xác Độ chính xác thưa thớt thưa thớt
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71.04% 70,84% 50%

Các mô hình đã được thử nghiệm trên Imagenet.

Dịch

Mô hình Non-thưa thớt BLEU thưa thớt BLEU thưa thớt
GNMT EN-DE 26,77 26,86 80%
26,52 85%
26.19 90%
GNMT DE-EN 29,47 29.50 80%
29,24 85%
28.81 90%

Các mô hình sử dụng WMT16 Đức và bộ dữ liệu bằng tiếng Anh với các tin tức-test2013 như tập dev và tin tức-test2015 như tập kiểm tra.

Các ví dụ

Ngoài các Prune với Keras hướng dẫn, xem các ví dụ sau:

  • Đào tạo một mô hình CNN trên tay nhiệm vụ phân loại chữ số MNIST với cắt tỉa: đang
  • Đào tạo một LSTM trên IMDB tình cảm nhiệm vụ phân loại với cắt tỉa: đang

Đối với nền, xem Để mận, hoặc không để mận: khám phá hiệu quả của cắt tỉa cho mô hình nén [ giấy ].