Tham dự Hội nghị chuyên đề Women in ML vào ngày 7 tháng 12 Đăng ký ngay

Lộ trình TensorFlow Lite

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Cập nhật: tháng 5 năm 2021

Phần sau thể hiện tổng quan cấp cao về lộ trình của chúng tôi. Bạn nên biết rằng lộ trình này có thể thay đổi bất kỳ lúc nào và thứ tự bên dưới không phản ánh bất kỳ loại ưu tiên nào.

Chúng tôi chia lộ trình của mình thành bốn phân đoạn chính: khả năng sử dụng, hiệu suất, tối ưu hóa và tính di động. Chúng tôi khuyến khích bạn bình luận về lộ trình của chúng tôi và cung cấp chúng tôi phản hồi trong nhóm thảo luận TensorFlow Lite .

Khả năng sử dụng

  • Mở rộng phạm vi hoạt động
    • Thêm các hoạt động được nhắm mục tiêu dựa trên phản hồi của người dùng.
    • Thêm các nhóm hoạt động được nhắm mục tiêu cho các miền và khu vực cụ thể bao gồm Hoạt động ngẫu nhiên, hoạt động lớp Keras cơ sở, bảng băm, lựa chọn hoạt động đào tạo.
  • Nhiều công cụ hỗ trợ hơn
    • Cung cấp các chú thích đồ thị TensorFlow và các công cụ tương thích để xác thực tính tương thích của TFLite và trình tăng tốc phần cứng trong quá trình đào tạo và sau khi chuyển đổi.
    • Cho phép nhắm mục tiêu và tối ưu hóa cho các trình tăng tốc cụ thể trong quá trình chuyển đổi.
  • Đào tạo trên thiết bị
    • Hỗ trợ đào tạo trên thiết bị để cá nhân hóa và học chuyển tiếp, bao gồm cả Colab thể hiện việc sử dụng từ đầu đến cuối.
    • Hỗ trợ các loại biến / tài nguyên (cả cho suy luận và đào tạo)
    • Hỗ trợ chuyển đổi và thực thi đồ thị với nhiều điểm nhập chức năng (hoặc chữ ký).
  • Tích hợp Android Studio nâng cao
    • Kéo và thả mô hình TFLite vào Android Studio để tạo giao diện mô hình.
    • Cải thiện hỗ trợ cấu hình Android Studio, bao gồm cả cấu hình bộ nhớ.
  • Nhà thiết kế thời trang
    • Hỗ trợ các tác vụ mới hơn, bao gồm phát hiện đối tượng, đề xuất và phân loại âm thanh, bao gồm một loạt các cách sử dụng phổ biến.
    • Hỗ trợ nhiều bộ dữ liệu hơn để giúp việc học chuyển tiếp dễ dàng hơn.
  • Thư viện công việc
    • Hỗ trợ nhiều loại mô hình hơn (ví dụ: âm thanh, NLP) với khả năng xử lý trước và sau liên quan.
    • Cập nhật thêm các ví dụ tham khảo với API tác vụ.
    • Hỗ trợ tăng tốc xuất xưởng cho mọi tác vụ.
  • Các mô hình và ví dụ khác của SOTA
    • Thêm các ví dụ khác (ví dụ: âm thanh, NLP, liên quan đến dữ liệu cấu trúc) để chứng minh việc sử dụng mô hình cũng như các tính năng và API mới, bao gồm các nền tảng khác nhau.
    • Tạo các mô hình xương sống có thể chia sẻ cho trên thiết bị để giảm chi phí đào tạo và triển khai.
  • Triển khai liền mạch trên nhiều nền tảng
    • Chạy các mô hình TensorFlow Lite trên web.
  • Cải thiện hỗ trợ đa nền tảng
    • Mở rộng và cải thiện API cho Java trên Android, Swift trên iOS, Python trên RPi.
    • Tăng cường hỗ trợ CMake (ví dụ: hỗ trợ máy gia tốc rộng hơn).
  • Hỗ trợ giao diện người dùng tốt hơn
    • Cải thiện khả năng tương thích với các giao diện tác giả khác nhau, bao gồm Keras, tf.numpy.

Màn biểu diễn

  • Công cụ tốt hơn
    • Trang tổng quan công khai để theo dõi mức tăng hiệu suất với mỗi bản phát hành.
    • Công cụ để hiểu rõ hơn khả năng tương thích của đồ thị với các máy gia tốc mục tiêu.
  • Cải thiện hiệu suất CPU
    • XNNPack được bật theo mặc định để suy luận dấu phẩy động nhanh hơn.
    • Hỗ trợ nửa chính xác từ đầu đến cuối (float16) với các hạt nhân được tối ưu hóa.
  • Hỗ trợ API NN được cập nhật
    • Hỗ trợ đầy đủ các tính năng, hoạt động và loại API NN phiên bản Android mới hơn.
  • Tối ưu hóa GPU
    • Cải thiện thời gian khởi động với hỗ trợ tuần tự hóa ủy quyền.
    • Tương tác bộ đệm phần cứng để suy luận không sao chép.
    • Khả năng tăng tốc trên thiết bị rộng hơn.
    • Che phủ op tốt hơn.

Tối ưu hóa

  • Lượng tử hóa

    • Lượng tử hóa sau đào tạo có chọn lọc để loại trừ các lớp nhất định khỏi lượng tử hóa.
    • Trình gỡ lỗi lượng tử hóa để kiểm tra tổn thất lỗi lượng tử hóa trên mỗi lớp.
    • Áp dụng đào tạo nhận thức lượng tử hóa trên phạm vi bao phủ của nhiều mô hình hơn, ví dụ như TensorFlow Model Garden.
    • Cải tiến chất lượng và hiệu suất để lượng tử hóa dải động sau đào tạo.
    • Tensor Compression API để cho phép các thuật toán nén như SVD.
  • Tỉa / thưa thớt

    • Kết hợp các API thời gian đào tạo có thể định cấu hình (cắt tỉa + đào tạo nhận biết lượng tử hóa).
    • Tăng cường ứng dụng ghép trên các mô hình TF Model Garden.
    • Hỗ trợ thực thi mô hình thưa thớt trong TensorFlow Lite.

Tính di động

  • Hỗ trợ vi điều khiển
    • Thêm hỗ trợ cho một loạt các trường hợp sử dụng kiến ​​trúc MCU 32-bit để phân loại giọng nói và hình ảnh.
    • Giao diện âm thanh: Hỗ trợ xử lý trước và tăng tốc âm thanh trong biểu đồ
    • Mã mẫu và các mô hình cho dữ liệu âm thanh và thị giác.