ขอขอบคุณที่เข้าร่วม Google I/O ดูเซสชั่นทั้งหมดตามความต้องการ ดูตามความต้องการ

รวมโปรแกรมฝังภาพ รวมโปรแกรมฝังภาพ รวมโปรแกรมฝังภาพ

ตัวฝังรูปภาพช่วยให้สามารถฝังรูปภาพลงในเวกเตอร์ที่มีมิติสูงซึ่งแสดงถึงความหมายเชิงความหมายของรูปภาพ ซึ่งสามารถนำไปเปรียบเทียบกับเวกเตอร์คุณลักษณะของรูปภาพอื่นๆ เพื่อประเมินความคล้ายคลึงกันของความหมายได้

ตรงข้ามกับการ ค้นหา รูปภาพ โปรแกรมฝังรูปภาพช่วยให้คำนวณความคล้ายคลึงกันระหว่างรูปภาพได้ทันที แทนที่จะค้นหาผ่านดัชนีที่กำหนดไว้ล่วงหน้าซึ่งสร้างจากคลังรูปภาพ

ใช้ Task Library ImageEmbedder API เพื่อปรับใช้ตัวฝังรูปภาพที่กำหนดเองในแอพมือถือของคุณ

คุณสมบัติหลักของ ImageEmbedder API

  • ป้อนข้อมูลการประมวลผลภาพ รวมทั้งการหมุน การปรับขนาด และการแปลงพื้นที่สี

  • ภูมิภาคที่น่าสนใจของภาพที่ป้อน

  • ฟังก์ชันยูทิลิตี้ในตัวเพื่อคำนวณ ความคล้ายคลึงของโคไซน์ ระหว่างเวกเตอร์คุณลักษณะ

โมเดลตัวฝังรูปภาพที่รองรับ

รับประกันว่ารุ่นต่อไปนี้จะเข้ากันได้กับ ImageEmbedder API

เรียกใช้การอนุมานใน C++

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า ImageEmbedder

เรียกใช้การอนุมานใน Python

ขั้นตอนที่ 1: ติดตั้งแพ็คเกจ TensorFlow Lite Support Pypi

คุณสามารถติดตั้งแพ็คเกจ TensorFlow Lite Support Pypi ได้โดยใช้คำสั่งต่อไปนี้:

pip install tflite-support

ขั้นตอนที่ 2: การใช้โมเดล

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า ImageEmbedder

ตัวอย่างผลลัพธ์

ความคล้ายคลึงกันของโคไซน์ระหว่างเวกเตอร์ลักษณะปกติที่ทำให้เป็นมาตรฐานจะส่งกลับคะแนนระหว่าง -1 ถึง 1 สูงกว่าจะดีกว่า กล่าวคือ ความคล้ายคลึงของโคไซน์ที่ 1 หมายความว่าเวกเตอร์ทั้งสองเหมือนกัน

Cosine similarity: 0.954312

ลองใช้ เครื่องมือสาธิต CLI อย่างง่ายสำหรับ ImageEmbedder ด้วยโมเดลและข้อมูลทดสอบของคุณเอง

ข้อกำหนดความเข้ากันได้ของรุ่น

ImageEmbedder API คาดว่าโมเดล TFLite จะมีตัวเลือก เมตาดาต้าของโมเดล TFLite ซึ่งเป็นตัวเลือกเสริม

โมเดลตัวฝังรูปภาพที่เข้ากันได้ควรเป็นไปตามข้อกำหนดต่อไปนี้:

  • เทนเซอร์อิมเมจอินพุต (kTfLiteUInt8/kTfLiteFloat32)

    • อินพุตรูปภาพขนาด [batch x height x width x channels]
    • ไม่รองรับการอนุมานแบบแบตช์ ( batch ตช์ต้องเป็น 1)
    • รองรับเฉพาะอินพุต RGB เท่านั้น ( channels ต้องเป็น 3)
    • หากประเภทเป็น kTfLiteFloat32 จำเป็นต้องแนบ NormalizationOptions กับข้อมูลเมตาเพื่อทำให้อินพุตเป็นมาตรฐาน

  • อย่างน้อยหนึ่งเทนเซอร์เอาต์พุต (kTfLiteUInt8/kTfLiteFloat32)

    • ด้วยองค์ประกอบ N ที่สอดคล้องกับมิติ N ของเวกเตอร์คุณลักษณะที่ส่งคืนสำหรับเลเยอร์เอาต์พุตนี้
    • ทั้ง 2 หรือ 4 มิติ เช่น [1 x N] หรือ [1 x 1 x 1 x N]