Zintegruj elementy do osadzania obrazów, Zintegruj elementy do osadzania obrazów, Zintegruj elementy do osadzania obrazów

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Elementy osadzające obrazy umożliwiają osadzanie obrazów w wysokowymiarowym wektorze cech reprezentującym znaczenie semantyczne obrazu, który można następnie porównać z wektorami cech innych obrazów w celu oceny ich podobieństwa semantycznego.

W przeciwieństwie do wyszukiwania obrazów , program do osadzania obrazów umożliwia obliczanie podobieństwa między obrazami w locie, zamiast przeszukiwania predefiniowanego indeksu utworzonego z korpusu obrazów.

Użyj interfejsu API ImageEmbedder biblioteki zadań, aby wdrożyć niestandardowe narzędzie do osadzania obrazów w aplikacjach mobilnych.

Kluczowe cechy interfejsu API ImageEmbedder

  • Przetwarzanie obrazu wejściowego, w tym obracanie, zmiana rozmiaru i konwersja przestrzeni kolorów.

  • Obszar zainteresowania obrazu wejściowego.

  • Wbudowana funkcja narzędziowa do obliczania podobieństwa cosinusów między wektorami cech.

Obsługiwane modele osadzania obrazu

Gwarantujemy zgodność następujących modeli z interfejsem ImageEmbedder API.

Uruchom wnioskowanie w C++

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer1 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

Zobacz kod źródłowy, aby uzyskać więcej opcji konfiguracji ImageEmbedder .

Uruchom wnioskowanie w Pythonie

Krok 1: Zainstaluj pakiet TensorFlow Lite Support Pypi.

Możesz zainstalować pakiet TensorFlow Lite Support Pypi za pomocą następującego polecenia:

pip install tflite-support

Krok 2: Korzystanie z modelu

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Zobacz kod źródłowy, aby uzyskać więcej opcji konfiguracji ImageEmbedder .

Przykładowe wyniki

Podobieństwo kosinusowe między znormalizowanymi wektorami cech daje wynik od -1 do 1. Im wyższy, tym lepszy, tj. podobieństwo cosinusowe równe 1 oznacza, że ​​oba wektory są identyczne.

Cosine similarity: 0.954312

Wypróbuj proste narzędzie demonstracyjne CLI dla ImageEmbedder z własnym modelem i danymi testowymi.

Wymagania dotyczące zgodności modelu

Interfejs API ImageEmbedder oczekuje modelu TFLite z opcjonalnymi, ale zdecydowanie zalecanymi metadanymi modelu TFLite .

Zgodne modele embedder obrazu powinny spełniać następujące wymagania:

  • Tensor obrazu wejściowego (kTfLiteUInt8/kTfLiteFloat32)

    • wejście obrazu o rozmiarze [batch x height x width x channels] .
    • wnioskowanie o partiach nie jest obsługiwane ( batch musi wynosić 1).
    • obsługiwane są tylko wejścia RGB (wymagane jest 3 channels ).
    • jeśli typem jest kTfLiteFloat32, NormalizationOptions muszą być dołączone do metadanych w celu normalizacji danych wejściowych.
  • Co najmniej jeden tensor wyjścia (kTfLiteUInt8/kTfLiteFloat32)

    • z N składowymi odpowiadającymi wymiarom N zwróconego wektora cech dla tej warstwy wyjściowej.
    • Albo 2 lub 4 wymiary, tj. [1 x N] lub [1 x 1 x 1 x N] .