Integrasikan penyemat gambar

Penyematan gambar memungkinkan penyematan gambar ke dalam vektor fitur berdimensi tinggi yang mewakili makna semantik suatu gambar, yang kemudian dapat dibandingkan dengan vektor fitur gambar lain untuk mengevaluasi kesamaan semantiknya.

Berbeda dengan penelusuran gambar , penyematan gambar memungkinkan penghitungan kesamaan antar gambar secara langsung, alih-alih menelusuri indeks yang telah ditentukan sebelumnya yang dibuat dari kumpulan gambar.

Gunakan API ImageEmbedder Pustaka Tugas untuk menyebarkan penyemat gambar khusus ke dalam aplikasi seluler Anda.

Fitur utama API ImageEmbedder

  • Pemrosesan gambar masukan, termasuk rotasi, pengubahan ukuran, dan konversi ruang warna.

  • Wilayah yang diminati dari gambar masukan.

  • Fungsi utilitas bawaan untuk menghitung kesamaan kosinus antara vektor fitur.

Model penyematan gambar yang didukung

Model berikut dijamin kompatibel dengan ImageEmbedder API.

Jalankan inferensi di C++

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

Lihat kode sumber untuk opsi lebih lanjut untuk mengonfigurasi ImageEmbedder .

Jalankan inferensi dengan Python

Langkah 1: Instal paket Pypi Dukungan TensorFlow Lite.

Anda dapat menginstal paket TensorFlow Lite Support Pypi menggunakan perintah berikut:

pip install tflite-support

Langkah 2: Menggunakan model

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Lihat kode sumber untuk opsi lebih lanjut untuk mengonfigurasi ImageEmbedder .

Contoh hasil

Kesamaan kosinus antara vektor fitur yang dinormalisasi menghasilkan skor antara -1 dan 1. Semakin tinggi semakin baik, yaitu kesamaan kosinus 1 berarti kedua vektor tersebut identik.

Cosine similarity: 0.954312

Cobalah alat demo CLI sederhana untuk ImageEmbedder dengan model dan data pengujian Anda sendiri.

Persyaratan kompatibilitas model

ImageEmbedder API mengharapkan model TFLite dengan Metadata Model TFLite opsional, namun sangat disarankan.

Model penyemat gambar yang kompatibel harus memenuhi persyaratan berikut:

  • Tensor gambar masukan (kTfLiteUInt8/kTfLiteFloat32)

    • masukan gambar dengan ukuran [batch x height x width x channels] .
    • inferensi batch tidak didukung ( batch harus 1).
    • hanya input RGB yang didukung ( channels harus ada 3).
    • jika tipenya adalah kTfLiteFloat32, NormalizationOptions harus dilampirkan ke metadata untuk normalisasi input.
  • Setidaknya satu tensor keluaran (kTfLiteUInt8/kTfLiteFloat32)

    • dengan N komponen yang sesuai dengan N dimensi vektor fitur yang dikembalikan untuk lapisan keluaran ini.
    • Bisa 2 atau 4 dimensi, yaitu [1 x N] atau [1 x 1 x 1 x N] .