Tích hợp bộ phát hiện đối tượng

Bộ phát hiện đối tượng có thể xác định nhóm đối tượng nào trong số các đối tượng đã biết có thể có mặt và cung cấp thông tin về vị trí của chúng trong hình ảnh hoặc luồng video đã cho. Một máy dò đối tượng được đào tạo để phát hiện sự hiện diện và vị trí của nhiều lớp đối tượng. Ví dụ: một mô hình có thể được huấn luyện với các hình ảnh có chứa các miếng trái cây khác nhau, cùng với nhãn chỉ định loại trái cây mà chúng đại diện (ví dụ: táo, chuối hoặc dâu tây) và dữ liệu chỉ định vị trí của mỗi đối tượng bức hình. Xem phần giới thiệu về phát hiện đối tượng để biết thêm thông tin về bộ phát hiện đối tượng.

Sử dụng API ObjectDetector của Thư viện Tác vụ để triển khai các trình phát hiện đối tượng tùy chỉnh hoặc các công cụ được đào tạo trước vào các ứng dụng dành cho thiết bị di động của bạn.

Các tính năng chính của API ObjectDetector

  • Xử lý hình ảnh đầu vào, bao gồm xoay, thay đổi kích thước và chuyển đổi không gian màu.

  • Nhãn bản đồ địa phương.

  • Ngưỡng điểm để lọc kết quả.

  • Kết quả phát hiện top-k.

  • Nhãn danh sách cho phép và danh sách từ chối.

Các mô hình phát hiện đối tượng được hỗ trợ

Các mô hình sau được đảm bảo tương thích với API ObjectDetector .

Chạy suy luận trong Java

Xem ứng dụng tham chiếu Phát hiện đối tượng để biết ví dụ về cách sử dụng ObjectDetector phát hiện đối tượng trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục nội dung của mô-đun Android nơi mô hình sẽ được chạy. Chỉ định rằng không nên nén tệp và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

Xem mã nguồn và javadoc để có thêm tùy chọn cấu hình ObjectDetector .

Chạy suy luận trong iOS

Bước 1: Cài đặt các phụ thuộc

Thư viện tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods đã được cài đặt trên hệ thống của bạn. Vui lòng xem hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem hướng dẫn CocoaPods để biết chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Đảm bảo rằng mô hình .tflite bạn sẽ sử dụng để suy luận có trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Nhanh

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

Mục tiêu C

// Imports
#import <TensorFlowLiteTaskVision/TFLTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

Xem mã nguồn để biết thêm tùy chọn để định cấu hình TFLObjectDetector .

Chạy suy luận bằng Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

Xem mã nguồn để biết thêm tùy chọn để cấu hình ObjectDetector .

Chạy suy luận trong C ++

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

Xem mã nguồn để biết thêm tùy chọn để cấu hình ObjectDetector .

Kết quả ví dụ

Đây là một ví dụ về kết quả phát hiện của ssd mobilenet v1 từ TensorFlow Hub.

chó

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

Kết xuất các hộp giới hạn lên hình ảnh đầu vào:

đầu ra phát hiện

Hãy dùng thử công cụ demo CLI đơn giản cho ObjectDetector với mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về tính tương thích của mô hình

API ObjectDetector mong đợi một mô hình TFLite với Siêu dữ liệu mô hình TFLite bắt buộc. Xem ví dụ về cách tạo siêu dữ liệu cho trình phát hiện đối tượng bằng API TensorFlow Lite Metadata Writer .

Các mô hình máy dò đối tượng tương thích phải đáp ứng các yêu cầu sau:

  • Bộ căng hình ảnh đầu vào: (kTfLiteUInt8 / kTfLiteFloat32)

    • đầu vào hình ảnh có kích thước [batch x height x width x channels] .
    • suy luận theo lô không được hỗ trợ ( batch bắt buộc phải là 1).
    • chỉ hỗ trợ đầu vào RGB ( channels bắt buộc phải là 3).
    • nếu loại là kTfLiteFloat32, NormalizationOptions bắt buộc phải được đính kèm vào siêu dữ liệu để chuẩn hóa đầu vào.
  • Bộ căng đầu ra phải là 4 đầu ra của op DetectionPostProcess , tức là:

    • Teo vị trí (kTfLiteFloat32)
      • tensor có kích thước [1 x num_results x 4] , mảng bên trong đại diện cho các hộp giới hạn ở dạng [trên, trái, phải, dưới].
      • BoundBoxProperties bắt buộc phải được đính kèm với siêu dữ liệu và phải chỉ định type=BOUNDARIES và `tọa độ_type = RATIO.
    • Các lớp tensor (kTfLiteFloat32)

      • tensor có kích thước [1 x num_results] , mỗi giá trị đại diện cho chỉ số nguyên của một lớp.
      • (các) bản đồ nhãn tùy chọn (nhưng được khuyến nghị) có thể được đính kèm dưới dạng AssociatedFile-s với loại TENSOR_VALUE_LABELS, chứa một nhãn trên mỗi dòng. Xem tệp nhãn ví dụ . AssociatedFile đầu tiên như vậy (nếu có) được sử dụng để điền vào trường class_name của kết quả. Trường display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trường display_names_locale của ObjectDetectorOptions được sử dụng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có cái nào trong số này khả dụng, chỉ trường index của kết quả sẽ được điền.
    • Điểm tensor (kTfLiteFloat32)

      • tensor of size [1 x num_results] , mỗi giá trị đại diện cho điểm của đối tượng được phát hiện.
    • Số tensor phát hiện (kTfLiteFloat32)

      • số nguyên num_results như một tensor có kích thước [1] .
,

Bộ phát hiện đối tượng có thể xác định nhóm đối tượng nào trong số các đối tượng đã biết có thể có mặt và cung cấp thông tin về vị trí của chúng trong hình ảnh hoặc luồng video đã cho. Một máy dò đối tượng được đào tạo để phát hiện sự hiện diện và vị trí của nhiều lớp đối tượng. Ví dụ: một mô hình có thể được huấn luyện với các hình ảnh có chứa các miếng trái cây khác nhau, cùng với nhãn chỉ định loại trái cây mà chúng đại diện (ví dụ: táo, chuối hoặc dâu tây) và dữ liệu chỉ định vị trí của mỗi đối tượng bức hình. Xem phần giới thiệu về phát hiện đối tượng để biết thêm thông tin về bộ phát hiện đối tượng.

Sử dụng API ObjectDetector của Thư viện Tác vụ để triển khai các trình phát hiện đối tượng tùy chỉnh hoặc các công cụ được đào tạo trước vào các ứng dụng dành cho thiết bị di động của bạn.

Các tính năng chính của API ObjectDetector

  • Xử lý hình ảnh đầu vào, bao gồm xoay, thay đổi kích thước và chuyển đổi không gian màu.

  • Nhãn bản đồ địa phương.

  • Ngưỡng điểm để lọc kết quả.

  • Kết quả phát hiện top-k.

  • Nhãn danh sách cho phép và danh sách từ chối.

Các mô hình phát hiện đối tượng được hỗ trợ

Các mô hình sau được đảm bảo tương thích với API ObjectDetector .

Chạy suy luận trong Java

Xem ứng dụng tham chiếu Phát hiện đối tượng để biết ví dụ về cách sử dụng ObjectDetector phát hiện đối tượng trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục nội dung của mô-đun Android nơi mô hình sẽ được chạy. Chỉ định rằng không nên nén tệp và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

Xem mã nguồn và javadoc để có thêm tùy chọn cấu hình ObjectDetector .

Chạy suy luận trong iOS

Bước 1: Cài đặt các phụ thuộc

Thư viện tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods đã được cài đặt trên hệ thống của bạn. Vui lòng xem hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem hướng dẫn CocoaPods để biết chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Đảm bảo rằng mô hình .tflite bạn sẽ sử dụng để suy luận có trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Nhanh

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

Mục tiêu C

// Imports
#import <TensorFlowLiteTaskVision/TFLTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

Xem mã nguồn để biết thêm tùy chọn để định cấu hình TFLObjectDetector .

Chạy suy luận bằng Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

Xem mã nguồn để biết thêm tùy chọn để cấu hình ObjectDetector .

Chạy suy luận trong C ++

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

Xem mã nguồn để biết thêm tùy chọn để cấu hình ObjectDetector .

Kết quả ví dụ

Đây là một ví dụ về kết quả phát hiện của ssd mobilenet v1 từ TensorFlow Hub.

chó

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

Kết xuất các hộp giới hạn lên hình ảnh đầu vào:

đầu ra phát hiện

Hãy dùng thử công cụ demo CLI đơn giản cho ObjectDetector với mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về tính tương thích của mô hình

API ObjectDetector mong đợi một mô hình TFLite với Siêu dữ liệu mô hình TFLite bắt buộc. Xem ví dụ về cách tạo siêu dữ liệu cho trình phát hiện đối tượng bằng API TensorFlow Lite Metadata Writer .

Các mô hình máy dò đối tượng tương thích phải đáp ứng các yêu cầu sau:

  • Bộ căng hình ảnh đầu vào: (kTfLiteUInt8 / kTfLiteFloat32)

    • đầu vào hình ảnh có kích thước [batch x height x width x channels] .
    • suy luận theo lô không được hỗ trợ ( batch bắt buộc phải là 1).
    • chỉ hỗ trợ đầu vào RGB ( channels bắt buộc phải là 3).
    • nếu loại là kTfLiteFloat32, NormalizationOptions bắt buộc phải được đính kèm vào siêu dữ liệu để chuẩn hóa đầu vào.
  • Bộ căng đầu ra phải là 4 đầu ra của op DetectionPostProcess , tức là:

    • Teo vị trí (kTfLiteFloat32)
      • tensor có kích thước [1 x num_results x 4] , mảng bên trong đại diện cho các hộp giới hạn ở dạng [trên, trái, phải, dưới].
      • BoundBoxProperties bắt buộc phải được đính kèm với siêu dữ liệu và phải chỉ định type=BOUNDARIES và `tọa độ_type = RATIO.
    • Các lớp tensor (kTfLiteFloat32)

      • tensor có kích thước [1 x num_results] , mỗi giá trị đại diện cho chỉ số nguyên của một lớp.
      • (các) bản đồ nhãn tùy chọn (nhưng được khuyến nghị) có thể được đính kèm dưới dạng AssociatedFile-s với loại TENSOR_VALUE_LABELS, chứa một nhãn trên mỗi dòng. Xem tệp nhãn ví dụ . AssociatedFile đầu tiên như vậy (nếu có) được sử dụng để điền vào trường class_name của kết quả. Trường display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trường display_names_locale của ObjectDetectorOptions được sử dụng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có cái nào trong số này khả dụng, chỉ trường index của kết quả sẽ được điền.
    • Điểm tensor (kTfLiteFloat32)

      • tensor of size [1 x num_results] , mỗi giá trị đại diện cho điểm của đối tượng được phát hiện.
    • Số tensor phát hiện (kTfLiteFloat32)

      • số nguyên num_results như một tensor có kích thước [1] .