Sử dụng TensorFlow Lite với Python rất tốt cho các thiết bị nhúng dựa trên Linux, chẳng hạn như các thiết bị Raspberry Pi và Coral với Edge TPU , trong số nhiều thiết bị khác.
Trang này cho biết cách bạn có thể bắt đầu chạy các mô hình TensorFlow Lite với Python chỉ trong vài phút. Tất cả những gì bạn cần là một mô hình TensorFlow được chuyển đổi thành TensorFlow Lite . (Nếu bạn chưa chuyển đổi mô hình, bạn có thể thử nghiệm bằng cách sử dụng mô hình được cung cấp cùng với ví dụ được liên kết bên dưới.)
Giới thiệu về gói thời gian chạy TensorFlow Lite
Để nhanh chóng bắt đầu thực thi các mô hình TensorFlow Lite bằng Python, bạn có thể chỉ cài đặt trình thông dịch TensorFlow Lite, thay vì tất cả các gói TensorFlow. Chúng tôi gọi gói Python đơn giản này là tflite_runtime .
Gói tflite_runtime có kích thước bằng một phần nhỏ của gói tensorflow đầy đủ và bao gồm mã tối thiểu cần thiết để chạy các suy luận với TensorFlow Lite — chủ yếu là lớp Interpreter Python. Gói nhỏ này lý tưởng khi tất cả những gì bạn muốn làm là thực thi các mô hình .tflite và tránh lãng phí dung lượng ổ đĩa với thư viện TensorFlow lớn.
Cài đặt TensorFlow Lite cho Python
Bạn có thể cài đặt trên Linux bằng pip:
python3 -m pip install tflite-runtime
Nền tảng được hỗ trợ
Các bánh xe Python tflite-runtime được tạo sẵn và cung cấp cho các nền tảng này:
- Linux armv7l (ví dụ: Raspberry Pi 2, 3, 4 và Zero 2 chạy Raspberry Pi OS 32-bit)
- Linux aarch64 (ví dụ: Raspberry Pi 3, 4 chạy Debian ARM64)
- Linux x86_64
Nếu bạn muốn chạy các mô hình TensorFlow Lite trên các nền tảng khác, bạn nên sử dụng gói TensorFlow đầy đủ hoặc xây dựng gói tflite-runtime từ nguồn .
Nếu bạn đang sử dụng TensorFlow với TPU Coral Edge, thay vào đó, bạn nên làm theo tài liệu thiết lập Coral thích hợp.
Chạy suy luận bằng tflite_runtime
Thay vì nhập Interpreter từ mô-đun tensorflow , bây giờ bạn cần nhập Trình thông dịch từ tflite_runtime .
Ví dụ: sau khi bạn cài đặt gói ở trên, hãy sao chép và chạy tệp label_image.py . Nó sẽ (có thể) không thành công vì bạn chưa cài đặt thư viện tensorflow . Để khắc phục, hãy chỉnh sửa dòng này của tệp:
import tensorflow as tf
Vì vậy, nó thay vào đó đọc:
import tflite_runtime.interpreter as tflite
Và sau đó thay đổi dòng này:
interpreter = tf.lite.Interpreter(model_path=args.model_file)
Vì vậy, nó đọc:
interpreter = tflite.Interpreter(model_path=args.model_file)
Bây giờ hãy chạy lại label_image.py . Đó là nó! Bây giờ bạn đang thực thi các mô hình TensorFlow Lite.
Tìm hiểu thêm
Để biết thêm chi tiết về API
Interpreter, hãy đọc Tải và chạy mô hình bằng Python .Nếu bạn có Raspberry Pi, hãy xem loạt video về cách chạy tính năng phát hiện đối tượng trên Raspberry Pi bằng TensorFlow Lite.
Nếu bạn đang sử dụng bộ tăng tốc Coral ML, hãy xem các ví dụ về Coral trên GitHub .
Để chuyển đổi các mô hình TensorFlow khác sang TensorFlow Lite, hãy đọc về Công cụ chuyển đổi TensorFlow Lite .
Nếu bạn muốn xây dựng bánh xe
tflite_runtime, hãy đọc Gói bánh xe Python Build TensorFlow Lite
Sử dụng TensorFlow Lite với Python rất tốt cho các thiết bị nhúng dựa trên Linux, chẳng hạn như các thiết bị Raspberry Pi và Coral với Edge TPU , trong số nhiều thiết bị khác.
Trang này cho biết cách bạn có thể bắt đầu chạy các mô hình TensorFlow Lite với Python chỉ trong vài phút. Tất cả những gì bạn cần là một mô hình TensorFlow được chuyển đổi thành TensorFlow Lite . (Nếu bạn chưa chuyển đổi mô hình, bạn có thể thử nghiệm bằng cách sử dụng mô hình được cung cấp cùng với ví dụ được liên kết bên dưới.)
Giới thiệu về gói thời gian chạy TensorFlow Lite
Để nhanh chóng bắt đầu thực thi các mô hình TensorFlow Lite bằng Python, bạn có thể chỉ cài đặt trình thông dịch TensorFlow Lite, thay vì tất cả các gói TensorFlow. Chúng tôi gọi gói Python đơn giản này là tflite_runtime .
Gói tflite_runtime có kích thước bằng một phần nhỏ của gói tensorflow đầy đủ và bao gồm mã tối thiểu cần thiết để chạy các suy luận với TensorFlow Lite — chủ yếu là lớp Interpreter Python. Gói nhỏ này lý tưởng khi tất cả những gì bạn muốn làm là thực thi các mô hình .tflite và tránh lãng phí dung lượng ổ đĩa với thư viện TensorFlow lớn.
Cài đặt TensorFlow Lite cho Python
Bạn có thể cài đặt trên Linux bằng pip:
python3 -m pip install tflite-runtime
Nền tảng được hỗ trợ
Các bánh xe Python tflite-runtime được tạo sẵn và cung cấp cho các nền tảng này:
- Linux armv7l (ví dụ: Raspberry Pi 2, 3, 4 và Zero 2 chạy Raspberry Pi OS 32-bit)
- Linux aarch64 (ví dụ: Raspberry Pi 3, 4 chạy Debian ARM64)
- Linux x86_64
Nếu bạn muốn chạy các mô hình TensorFlow Lite trên các nền tảng khác, bạn nên sử dụng gói TensorFlow đầy đủ hoặc xây dựng gói tflite-runtime từ nguồn .
Nếu bạn đang sử dụng TensorFlow với TPU Coral Edge, thay vào đó, bạn nên làm theo tài liệu thiết lập Coral thích hợp.
Chạy suy luận bằng tflite_runtime
Thay vì nhập Interpreter từ mô-đun tensorflow , bây giờ bạn cần nhập Trình thông dịch từ tflite_runtime .
Ví dụ: sau khi bạn cài đặt gói ở trên, hãy sao chép và chạy tệp label_image.py . Nó sẽ (có thể) không thành công vì bạn chưa cài đặt thư viện tensorflow . Để khắc phục, hãy chỉnh sửa dòng này của tệp:
import tensorflow as tf
Vì vậy, nó thay vào đó đọc:
import tflite_runtime.interpreter as tflite
Và sau đó thay đổi dòng này:
interpreter = tf.lite.Interpreter(model_path=args.model_file)
Vì vậy, nó đọc:
interpreter = tflite.Interpreter(model_path=args.model_file)
Bây giờ hãy chạy lại label_image.py . Đó là nó! Bây giờ bạn đang thực thi các mô hình TensorFlow Lite.
Tìm hiểu thêm
Để biết thêm chi tiết về API
Interpreter, hãy đọc Tải và chạy mô hình bằng Python .Nếu bạn có Raspberry Pi, hãy xem loạt video về cách chạy tính năng phát hiện đối tượng trên Raspberry Pi bằng TensorFlow Lite.
Nếu bạn đang sử dụng bộ tăng tốc Coral ML, hãy xem các ví dụ về Coral trên GitHub .
Để chuyển đổi các mô hình TensorFlow khác sang TensorFlow Lite, hãy đọc về Công cụ chuyển đổi TensorFlow Lite .
Nếu bạn muốn xây dựng bánh xe
tflite_runtime, hãy đọc Gói bánh xe Python Build TensorFlow Lite