Tích hợp bộ phân loại hình ảnh

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Phân loại hình ảnh là một cách sử dụng máy học phổ biến để xác định những gì một hình ảnh đại diện. Ví dụ, chúng ta có thể muốn biết loại động vật nào xuất hiện trong một bức tranh nhất định. Nhiệm vụ dự đoán những gì một hình ảnh đại diện được gọi là phân loại hình ảnh . Một bộ phân loại hình ảnh được đào tạo để nhận ra các lớp hình ảnh khác nhau. Ví dụ: một người mẫu có thể được đào tạo để nhận ra các bức ảnh đại diện cho ba loại động vật khác nhau: thỏ, chuột đồng và chó. Xem tổng quan về phân loại ảnh để biết thêm thông tin về bộ phân loại ảnh.

Sử dụng API Trình phân loại hình ảnh của Thư viện ImageClassifier vụ để triển khai các trình phân loại hình ảnh tùy chỉnh hoặc các trình phân loại hình ảnh được đào tạo trước vào các ứng dụng dành cho thiết bị di động của bạn.

Các tính năng chính của API ImageClassifier

  • Xử lý hình ảnh đầu vào, bao gồm xoay, thay đổi kích thước và chuyển đổi không gian màu.

  • Khu vực quan tâm của hình ảnh đầu vào.

  • Nhãn bản đồ địa phương.

  • Ngưỡng điểm để lọc kết quả.

  • Kết quả phân loại top-k.

  • Nhãn danh sách cho phép và danh sách từ chối.

Các mô hình phân loại hình ảnh được hỗ trợ

Các mô hình sau được đảm bảo tương thích với API ImageClassifier .

Chạy suy luận trong Java

Xem ứng dụng tham chiếu Phân loại hình ảnh để biết ví dụ về cách sử dụng ImageClassifier phân loại hình ảnh trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục nội dung của mô-đun Android nơi mô hình sẽ được chạy. Chỉ định rằng không nên nén tệp và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ImageClassifierOptions options =
    ImageClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ImageClassifier imageClassifier =
    ImageClassifier.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Classifications> results = imageClassifier.classify(image);

Xem mã nguồn và javadoc để biết thêm tùy chọn để định cấu hình ImageClassifier .

Chạy suy luận trong iOS

Bước 1: Cài đặt các phụ thuộc

Thư viện tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods đã được cài đặt trên hệ thống của bạn. Vui lòng xem hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem hướng dẫn CocoaPods để biết chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Đảm bảo rằng mô hình .tflite bạn sẽ sử dụng để suy luận có trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Nhanh

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
                                            ofType: "tflite") else { return }

let options = ImageClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try ImageClassifier.classifier(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)

Mục tiêu C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];

TFLImageClassifierOptions *options =
    [[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
                                                                          error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLClassificationResult *classificationResult =
    [classifier classifyWithGMLImage:gmlImage error:nil];

Xem mã nguồn để biết thêm tùy chọn để định cấu hình TFLImageClassifier .

Chạy suy luận bằng Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)

# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)

Xem mã nguồn để biết thêm tùy chọn để định cấu hình ImageClassifier .

Chạy suy luận trong C ++

// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h

std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();

Xem mã nguồn để biết thêm tùy chọn để định cấu hình ImageClassifier .

Kết quả ví dụ

Đây là một ví dụ về kết quả phân loại của máy phân loại chim .

chim sẻ

Results:
  Rank #0:
   index       : 671
   score       : 0.91406
   class name  : /m/01bwb9
   display name: Passer domesticus
  Rank #1:
   index       : 670
   score       : 0.00391
   class name  : /m/01bwbt
   display name: Passer montanus
  Rank #2:
   index       : 495
   score       : 0.00391
   class name  : /m/0bwm6m
   display name: Passer italiae

Hãy dùng thử công cụ demo CLI đơn giản cho ImageClassifier với mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về tính tương thích của mô hình

API ImageClassifier mong đợi một mô hình TFLite với Siêu dữ liệu mô hình TFLite bắt buộc. Xem ví dụ về cách tạo siêu dữ liệu cho bộ phân loại hình ảnh bằng API TensorFlow Lite Metadata Writer .

Các mô hình phân loại hình ảnh tương thích phải đáp ứng các yêu cầu sau:

  • Bộ căng hình ảnh đầu vào (kTfLiteUInt8 / kTfLiteFloat32)

    • đầu vào hình ảnh có kích thước [batch x height x width x channels] .
    • suy luận theo lô không được hỗ trợ ( batch bắt buộc phải là 1).
    • chỉ hỗ trợ đầu vào RGB ( channels bắt buộc phải là 3).
    • nếu loại là kTfLiteFloat32, NormalizationOptions bắt buộc phải được đính kèm vào siêu dữ liệu để chuẩn hóa đầu vào.

  • Điểm số đầu ra tensor (kTfLiteUInt8 / kTfLiteFloat32)

    • với N lớp và 2 hoặc 4 thứ nguyên, tức là [1 x N] hoặc [1 x 1 x 1 x N]
    • (các) bản đồ nhãn tùy chọn (nhưng được khuyến nghị) dưới dạng AssociatedFile-s với loại TENSOR_AXIS_LABELS, chứa một nhãn trên mỗi dòng. Xem tệp nhãn ví dụ . AssociatedFile đầu tiên như vậy (nếu có) được sử dụng để điền vào trường label (được đặt tên là class_name trong C ++) của kết quả. Trường display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trường display_names_locale của ImageClassifierOptions được sử dụng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có cái nào trong số này khả dụng, chỉ trường index của kết quả sẽ được điền.
,

Phân loại hình ảnh là một cách sử dụng máy học phổ biến để xác định những gì một hình ảnh đại diện. Ví dụ, chúng ta có thể muốn biết loại động vật nào xuất hiện trong một bức tranh nhất định. Nhiệm vụ dự đoán những gì một hình ảnh đại diện được gọi là phân loại hình ảnh . Một bộ phân loại hình ảnh được đào tạo để nhận ra các lớp hình ảnh khác nhau. Ví dụ: một người mẫu có thể được đào tạo để nhận ra các bức ảnh đại diện cho ba loại động vật khác nhau: thỏ, chuột đồng và chó. Xem tổng quan về phân loại ảnh để biết thêm thông tin về bộ phân loại ảnh.

Sử dụng API Trình phân loại hình ảnh của Thư viện ImageClassifier vụ để triển khai các trình phân loại hình ảnh tùy chỉnh hoặc các trình phân loại hình ảnh được đào tạo trước vào các ứng dụng dành cho thiết bị di động của bạn.

Các tính năng chính của API ImageClassifier

  • Xử lý hình ảnh đầu vào, bao gồm xoay, thay đổi kích thước và chuyển đổi không gian màu.

  • Khu vực quan tâm của hình ảnh đầu vào.

  • Nhãn bản đồ địa phương.

  • Ngưỡng điểm để lọc kết quả.

  • Kết quả phân loại top-k.

  • Nhãn danh sách cho phép và danh sách từ chối.

Các mô hình phân loại hình ảnh được hỗ trợ

Các mô hình sau được đảm bảo tương thích với API ImageClassifier .

Chạy suy luận trong Java

Xem ứng dụng tham chiếu Phân loại hình ảnh để biết ví dụ về cách sử dụng ImageClassifier phân loại hình ảnh trong ứng dụng Android.

Bước 1: Nhập phần phụ thuộc Gradle và các cài đặt khác

Sao chép tệp mô hình .tflite vào thư mục nội dung của mô-đun Android nơi mô hình sẽ được chạy. Chỉ định rằng không nên nén tệp và thêm thư viện TensorFlow Lite vào tệp build.gradle của mô-đun:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Bước 2: Sử dụng mô hình

// Initialization
ImageClassifierOptions options =
    ImageClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ImageClassifier imageClassifier =
    ImageClassifier.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Classifications> results = imageClassifier.classify(image);

Xem mã nguồn và javadoc để biết thêm tùy chọn để định cấu hình ImageClassifier .

Chạy suy luận trong iOS

Bước 1: Cài đặt các phụ thuộc

Thư viện tác vụ hỗ trợ cài đặt bằng CocoaPods. Đảm bảo rằng CocoaPods đã được cài đặt trên hệ thống của bạn. Vui lòng xem hướng dẫn cài đặt CocoaPods để được hướng dẫn.

Vui lòng xem hướng dẫn CocoaPods để biết chi tiết về cách thêm nhóm vào dự án Xcode.

Thêm nhóm TensorFlowLiteTaskVision trong Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Đảm bảo rằng mô hình .tflite bạn sẽ sử dụng để suy luận có trong gói ứng dụng của bạn.

Bước 2: Sử dụng mô hình

Nhanh

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
                                            ofType: "tflite") else { return }

let options = ImageClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try ImageClassifier.classifier(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)

Mục tiêu C

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];

TFLImageClassifierOptions *options =
    [[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
                                                                          error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLClassificationResult *classificationResult =
    [classifier classifyWithGMLImage:gmlImage error:nil];

Xem mã nguồn để biết thêm tùy chọn để định cấu hình TFLImageClassifier .

Chạy suy luận bằng Python

Bước 1: Cài đặt gói pip

pip install tflite-support

Bước 2: Sử dụng mô hình

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)

# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)

Xem mã nguồn để biết thêm tùy chọn để định cấu hình ImageClassifier .

Chạy suy luận trong C ++

// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h

std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();

Xem mã nguồn để biết thêm tùy chọn để định cấu hình ImageClassifier .

Kết quả ví dụ

Đây là một ví dụ về kết quả phân loại của máy phân loại chim .

chim sẻ

Results:
  Rank #0:
   index       : 671
   score       : 0.91406
   class name  : /m/01bwb9
   display name: Passer domesticus
  Rank #1:
   index       : 670
   score       : 0.00391
   class name  : /m/01bwbt
   display name: Passer montanus
  Rank #2:
   index       : 495
   score       : 0.00391
   class name  : /m/0bwm6m
   display name: Passer italiae

Hãy dùng thử công cụ demo CLI đơn giản cho ImageClassifier với mô hình và dữ liệu thử nghiệm của riêng bạn.

Yêu cầu về tính tương thích của mô hình

API ImageClassifier mong đợi một mô hình TFLite với Siêu dữ liệu mô hình TFLite bắt buộc. Xem ví dụ về cách tạo siêu dữ liệu cho bộ phân loại hình ảnh bằng API TensorFlow Lite Metadata Writer .

Các mô hình phân loại hình ảnh tương thích phải đáp ứng các yêu cầu sau:

  • Bộ căng hình ảnh đầu vào (kTfLiteUInt8 / kTfLiteFloat32)

    • đầu vào hình ảnh có kích thước [batch x height x width x channels] .
    • suy luận theo lô không được hỗ trợ ( batch bắt buộc phải là 1).
    • chỉ hỗ trợ đầu vào RGB ( channels bắt buộc phải là 3).
    • nếu loại là kTfLiteFloat32, NormalizationOptions bắt buộc phải được đính kèm vào siêu dữ liệu để chuẩn hóa đầu vào.

  • Điểm số đầu ra tensor (kTfLiteUInt8 / kTfLiteFloat32)

    • với N lớp và 2 hoặc 4 thứ nguyên, tức là [1 x N] hoặc [1 x 1 x 1 x N]
    • (các) bản đồ nhãn tùy chọn (nhưng được khuyến nghị) dưới dạng AssociatedFile-s với loại TENSOR_AXIS_LABELS, chứa một nhãn trên mỗi dòng. Xem tệp nhãn ví dụ . AssociatedFile đầu tiên như vậy (nếu có) được sử dụng để điền vào trường label (được đặt tên là class_name trong C ++) của kết quả. Trường display_name được điền từ AssociatedFile (nếu có) có ngôn ngữ khớp với trường display_names_locale của ImageClassifierOptions được sử dụng tại thời điểm tạo ("en" theo mặc định, tức là tiếng Anh). Nếu không có cái nào trong số này khả dụng, chỉ trường index của kết quả sẽ được điền.