Интеграция модулей встраивания изображений,Интеграция модулей встраивания изображений,Интеграция модулей встраивания изображений

Устройства для встраивания изображений позволяют встраивать изображения в многомерный вектор признаков, представляющий семантическое значение изображения, который затем можно сравнить с вектором признаков других изображений, чтобы оценить их семантическое сходство.

В отличие от поиска изображений, встраиватель изображений позволяет вычислять сходство между изображениями на лету вместо поиска по заранее определенному индексу, построенному из набора изображений.

Используйте API-интерфейс ImageEmbedder библиотеки задач, чтобы развернуть собственное средство встраивания изображений в свои мобильные приложения.

Основные возможности API ImageEmbedder

• Обработка исходного изображения, включая поворот, изменение размера и преобразование цветового пространства.

• Область интереса входного изображения.

• Встроенная служебная функция для вычисления косинусного сходства между векторами признаков.

Поддерживаемые модели встраивания изображений

Следующие модели гарантированно совместимы с API ImageEmbedder .

• Векторные модели признаков из коллекции Google Image Modules на TensorFlow Hub .

• Пользовательские модели, отвечающие требованиям совместимости моделей .

Запустить вывод на C++

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

Дополнительные параметры для настройки ImageEmbedder см. в исходном коде .

Запустить вывод в Python

Шаг 1: Установите пакет поддержки TensorFlow Lite Pypi.

Вы можете установить пакет Pypi для поддержки TensorFlow Lite, используя следующую команду:

pip install tflite-support

Шаг 2: Использование модели

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Дополнительные параметры для настройки ImageEmbedder см. в исходном коде .

Пример результатов

Косинусное сходство между нормализованными векторами признаков возвращает оценку от -1 до 1. Чем выше, тем лучше, т. е. косинусное сходство, равное 1, означает, что два вектора идентичны.

Cosine similarity: 0.954312

Попробуйте простой демонстрационный инструмент CLI для ImageEmbedder с собственной моделью и тестовыми данными.

Требования к совместимости моделей

API ImageEmbedder ожидает модель TFLite с необязательными, но настоятельно рекомендуемыми метаданными модели TFLite .

Совместимые модели устройств для встраивания изображений должны соответствовать следующим требованиям:

• Тензор входного изображения (kTfLiteUInt8/kTfLiteFloat32)

  • ввод изображения размером [batch x height x width x channels] .
  • пакетный вывод не поддерживается ( batch должен быть равен 1).
  • поддерживаются только входы RGB ( channels должно быть 3).
  • если тип — kTfLiteFloat32, NormalizationOptions необходимо прикрепить к метаданным для нормализации ввода.

• Хотя бы один выходной тензор (kTfLiteUInt8/kTfLiteFloat32)

  • с компонентами N , соответствующими размерам N возвращенного вектора признаков для этого выходного слоя.
  • Либо 2, либо 4 измерения, т.е. [1 x N] или [1 x 1 x 1 x N] .