Эта страница переведена с помощью Cloud Translation API.

Интеграция классификаторов изображений

Классификация изображений — это распространенное использование машинного обучения для определения того, что представляет собой изображение. Например, мы можем захотеть узнать, какое животное изображено на данной картинке. Задача предсказания того, что представляет собой изображение, называется классификацией изображения . Классификатор изображений обучен распознавать различные классы изображений. Например, модель можно научить распознавать фотографии, на которых изображены три разных вида животных: кролики, хомяки и собаки. Дополнительные сведения о классификаторах изображений см. в обзоре классификации изображений.

Используйте API-интерфейс ImageClassifier библиотеки задач для развертывания пользовательских или предварительно обученных классификаторов изображений в мобильных приложениях.

Основные возможности API ImageClassifier

Обработка исходного изображения, включая поворот, изменение размера и преобразование цветового пространства.
Область интереса входного изображения.
Отметьте регион карты.
Пороговое значение для фильтрации результатов.
Результаты классификации Top-k.
Пометьте список разрешений и список запрещенных.

Поддерживаемые модели классификаторов изображений

Следующие модели гарантированно совместимы с ImageClassifier API.

Модели, созданные TensorFlow Lite Model Maker для классификации изображений .
Предобученные модели классификации изображений на TensorFlow Hub .
Модели, созданные AutoML Vision Edge Image Classification .
Пользовательские модели, отвечающие требованиям совместимости моделей .

Выполнить вывод в Java

См. справочное приложение Image Classification для примера того, как использовать ImageClassifier в приложении для Android.

Шаг 1: Импорт зависимости Gradle и других настроек

Скопируйте файл модели .tflite в каталог активов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

Шаг 2: Использование модели

// Initialization
ImageClassifierOptions options =
    ImageClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ImageClassifier imageClassifier =
    ImageClassifier.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Classifications> results = imageClassifier.classify(image);

Дополнительные параметры настройки ImageClassifier см. в исходном коде и javadoc .

Выполнить вывод в iOS

Шаг 1: Установите зависимости

Библиотека задач поддерживает установку с помощью CocoaPods. Убедитесь, что CocoaPods установлен в вашей системе. Инструкции см. в руководстве по установке CocoaPods .

Подробную информацию о добавлении модулей в проект Xcode см. в руководстве CocoaPods .

Добавьте модуль TensorFlowLiteTaskVision в файл Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

Убедитесь, что модель .tflite , которую вы будете использовать для логического вывода, присутствует в вашем комплекте приложений.

Шаг 2: Использование модели

Быстрый

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "birds_V1",
                                            ofType: "tflite") else { return }

let options = ImageClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try ImageClassifier.classifier(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "sparrow.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let classificationResults = try classifier.classify(mlImage: mlImage)

Цель С

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"birds_V1" ofType:@"tflite"];

TFLImageClassifierOptions *options =
    [[TFLImageClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLImageClassifier *classifier = [TFLImageClassifier imageClassifierWithOptions:options
                                                                          error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"sparrow.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLClassificationResult *classificationResult =
    [classifier classifyWithGMLImage:gmlImage error:nil];

Дополнительные параметры для настройки TFLImageClassifier см. в исходном коде .

Запустить вывод в Python

Шаг 1: Установите пакет pip

pip install tflite-support

Шаг 2: Использование модели

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = vision.ImageClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = vision.ImageClassifier.create_from_options(options)

# Alternatively, you can create an image classifier in the following manner:
# classifier = vision.ImageClassifier.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
classification_result = classifier.classify(image)

Дополнительные параметры для настройки ImageClassifier см. в исходном коде .

Запустить вывод на C++

// Initialization
ImageClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageClassifier> image_classifier = ImageClassifier::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h

std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const ClassificationResult result = image_classifier->Classify(*frame_buffer).value();

Дополнительные параметры для настройки ImageClassifier см. в исходном коде .

Пример результатов

Вот пример результатов классификации классификатора птиц .

воробей

Results:
  Rank #0:
   index       : 671
   score       : 0.91406
   class name  : /m/01bwb9
   display name: Passer domesticus
  Rank #1:
   index       : 670
   score       : 0.00391
   class name  : /m/01bwbt
   display name: Passer montanus
  Rank #2:
   index       : 495
   score       : 0.00391
   class name  : /m/0bwm6m
   display name: Passer italiae

Попробуйте простой демонстрационный инструмент CLI для ImageClassifier с собственной моделью и тестовыми данными.

Требования к совместимости моделей

API ImageClassifier ожидает модель TFLite с обязательными метаданными модели TFLite . См. примеры создания метаданных для классификаторов изображений с помощью API записи метаданных TensorFlow Lite .

Совместимые модели классификаторов изображений должны соответствовать следующим требованиям:

Тензор входного изображения (kTfLiteUInt8/kTfLiteFloat32)
- ввод изображения размером [batch x height x width x channels] .
- пакетный вывод не поддерживается ( batch должен быть равен 1).
- поддерживаются только входы RGB ( channels должно быть 3).
- если тип — kTfLiteFloat32, NormalizationOptions необходимо прикрепить к метаданным для нормализации ввода.
Тензор выходных оценок (kTfLiteUInt8/kTfLiteFloat32)
- с N классами и 2 или 4 измерениями, т.е. [1 x N] или [1 x 1 x 1 x N]
- необязательные (но рекомендуемые) карты меток как AssociatedFile-s с типом TENSOR_AXIS_LABELS, содержащие одну метку на строку. См. пример файла этикетки . Первый такой AssociatedFile (если есть) используется для заполнения поля label (названного class_name в C++) результатов. Поле display_name заполняется из файла AssociatedFile (если есть), языковой стандарт которого совпадает с полем display_names_locale параметра ImageClassifierOptions , используемого во время создания («en» по умолчанию, т. е. английский). Если ни один из них недоступен, будет заполнено только поле index результатов.