Integrasikan pencari gambar

Pencarian gambar memungkinkan pencarian gambar serupa dalam database gambar. Ia bekerja dengan menyematkan kueri penelusuran ke dalam vektor berdimensi tinggi yang mewakili makna semantik kueri, diikuti dengan penelusuran kesamaan dalam indeks khusus yang telah ditentukan sebelumnya menggunakan ScaNN (Scalable Nearest Neighbors).

Berbeda dengan klasifikasi gambar , menambah jumlah item yang dapat dikenali tidak memerlukan pelatihan ulang seluruh model. Item baru dapat ditambahkan hanya dengan membangun kembali indeks. Hal ini juga memungkinkan bekerja dengan database gambar yang lebih besar (100k+ item).

Gunakan API Task Library ImageSearcher untuk menyebarkan pencari gambar khusus ke dalam aplikasi seluler Anda.

Fitur utama dari API ImageSearcher

• Mengambil satu gambar sebagai masukan, melakukan ekstraksi penyematan dan pencarian tetangga terdekat dalam indeks.

• Pemrosesan gambar masukan, termasuk rotasi, pengubahan ukuran, dan konversi ruang warna.

• Wilayah yang diminati dari gambar masukan.

Prasyarat

Sebelum menggunakan ImageSearcher API, indeks perlu dibuat berdasarkan korpus gambar khusus yang akan dicari. Hal ini dapat dicapai dengan menggunakan Model Maker Searcher API dengan mengikuti dan mengadaptasi tutorial .

Untuk melakukan ini, Anda memerlukan:

• model penyematan gambar TFLite seperti mobilenet v3 . Lihat model penyematan terlatih lainnya (alias model vektor fitur) dari koleksi Modul Gambar Google di TensorFlow Hub .
• kumpulan gambar Anda.

Setelah langkah ini, Anda akan memiliki model pencari TFLite mandiri (misalnya mobilenet_v3_searcher.tflite ), yang merupakan model penyemat gambar asli dengan indeks yang dilampirkan ke Metadata Model TFLite .

Jalankan inferensi di Java

Langkah 1: Impor ketergantungan Gradle dan pengaturan lainnya

Salin file model pencari .tflite ke direktori aset modul Android tempat model akan dijalankan. Tentukan bahwa file tersebut tidak boleh dikompresi, dan tambahkan pustaka TensorFlow Lite ke file build.gradle modul:

android {
    // Other settings

    // Specify tflite index file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

Langkah 2: Menggunakan model

// Initialization
ImageSearcherOptions options =
    ImageSearcherOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setSearcherOptions(
            SearcherOptions.builder().setL2Normalize(true).build())
        .build();
ImageSearcher imageSearcher =
    ImageSearcher.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<NearestNeighbor> results = imageSearcher.search(image);

Lihat kode sumber dan javadoc untuk opsi lebih lanjut untuk mengkonfigurasi ImageSearcher .

Jalankan inferensi di C++

// Initialization
ImageSearcherOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
options.mutable_embedding_options()->set_l2_normalize(true);
std::unique_ptr<ImageSearcher> image_searcher = ImageSearcher::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SearchResult result = image_searcher->Search(*frame_buffer).value();

Lihat kode sumber untuk opsi lebih lanjut untuk mengonfigurasi ImageSearcher .

Jalankan inferensi dengan Python

Langkah 1: Instal paket Pypi Dukungan TensorFlow Lite.

Anda dapat menginstal paket TensorFlow Lite Support Pypi menggunakan perintah berikut:

pip install tflite-support

Langkah 2: Menggunakan model

from tflite_support.task import vision

# Initialization
image_searcher = vision.ImageSearcher.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_file)
result = image_searcher.search(image)

Lihat kode sumber untuk opsi lebih lanjut untuk mengonfigurasi ImageSearcher .

Contoh hasil

Results:
 Rank#0:
  metadata: burger
  distance: 0.13452
 Rank#1:
  metadata: car
  distance: 1.81935
 Rank#2:
  metadata: bird
  distance: 1.96617
 Rank#3:
  metadata: dog
  distance: 2.05610
 Rank#4:
  metadata: cat
  distance: 2.06347

Cobalah alat demo CLI sederhana untuk ImageSearcher dengan model dan data pengujian Anda sendiri.