ตัวฝังรูปภาพอนุญาตให้ฝังรูปภาพลงในเวกเตอร์คุณลักษณะมิติสูงซึ่งแสดงถึงความหมายเชิงความหมายของรูปภาพ ซึ่งสามารถนำไปเปรียบเทียบกับเวกเตอร์คุณลักษณะของรูปภาพอื่นๆ เพื่อประเมินความคล้ายคลึงกันเชิงความหมายของรูปภาพเหล่านั้น
ตรงข้ามกับ การค้นหารูปภาพ การฝังรูปภาพทำให้สามารถคำนวณความคล้ายคลึงกันระหว่างรูปภาพได้ทันที แทนที่จะค้นหาผ่านดัชนีที่กำหนดไว้ล่วงหน้าซึ่งสร้างจากคลังรูปภาพ
ใช้ Task Library ImageEmbedder
API เพื่อปรับใช้การฝังรูปภาพแบบกำหนดเองของคุณในแอปมือถือของคุณ
คุณสมบัติที่สำคัญของ ImageEmbedder API
การประมวลผลภาพอินพุต รวมถึงการหมุน การปรับขนาด และการแปลงพื้นที่สี
ภูมิภาคที่สนใจของรูปภาพอินพุต
ฟังก์ชันยูทิลิตี้ในตัวเพื่อคำนวณ ความคล้ายคลึงของโคไซน์ ระหว่างเวกเตอร์ฟีเจอร์
โมเดลการฝังรูปภาพที่รองรับ
รับประกันว่าโมเดลต่อไปนี้จะเข้ากันได้กับ ImageEmbedder
API
นำเสนอโมเดลเวกเตอร์จาก คอลเลกชัน Google Image Modules บน TensorFlow Hub
โมเดลแบบกำหนดเองที่ตรงตาม ข้อกำหนดความเข้ากันได้ของโมเดล
เรียกใช้การอนุมานใน C ++
// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();
// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
image_data2, image_dimension2);
// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);
// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector(),
result_2.embeddings[0].feature_vector());
ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า ImageEmbedder
เรียกใช้การอนุมานใน Python
ขั้นตอนที่ 1: ติดตั้งแพ็คเกจ Pypi รองรับ TensorFlow Lite
คุณสามารถติดตั้งแพ็คเกจ Pypi รองรับ TensorFlow Lite ได้โดยใช้คำสั่งต่อไปนี้:
pip install tflite-support
ขั้นตอนที่ 2: การใช้แบบจำลอง
from tflite_support.task import vision
# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)
# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
ดู ซอร์สโค้ด สำหรับตัวเลือกเพิ่มเติมในการกำหนดค่า ImageEmbedder
ตัวอย่างผลลัพธ์
ความคล้ายคลึงกันของโคไซน์ระหว่างเวกเตอร์คุณลักษณะที่ทำให้เป็นมาตรฐานจะให้คะแนนระหว่าง -1 ถึง 1 ยิ่งสูงยิ่งดี กล่าวคือ ความคล้ายคลึงกันของโคไซน์เป็น 1 หมายความว่าเวกเตอร์ทั้งสองเหมือนกัน
Cosine similarity: 0.954312
ลองใช้ เครื่องมือสาธิต CLI ง่ายๆ สำหรับ ImageEmbedder ด้วยโมเดลและข้อมูลการทดสอบของคุณเอง
ข้อกำหนดความเข้ากันได้ของโมเดล
ImageEmbedder
API คาดว่าจะมีโมเดล TFLite พร้อมด้วย ข้อมูลเมตาของโมเดล TFLite ที่ไม่บังคับ แต่ขอแนะนำอย่างยิ่ง
โมเดลการฝังรูปภาพที่เข้ากันได้ควรเป็นไปตามข้อกำหนดต่อไปนี้:
เทนเซอร์อิมเมจอินพุต (kTfLiteUInt8/kTfLiteFloat32)
- อินพุตรูปภาพขนาด
[batch x height x width x channels]
- ไม่รองรับการอนุมานแบบแบตช์ (
batch
ต้องเป็น 1) - รองรับเฉพาะอินพุต RGB (
channels
ต้องเป็น 3) - หากประเภทเป็น kTfLiteFloat32 จำเป็นต้องแนบ NormalizationOptions กับข้อมูลเมตาเพื่อทำให้อินพุตเป็นมาตรฐาน
- อินพุตรูปภาพขนาด
เทนเซอร์เอาต์พุตอย่างน้อยหนึ่งตัว (kTfLiteUInt8/kTfLiteFloat32)
- ด้วยองค์ประกอบ
N
ที่สอดคล้องกับมิติN
ของเวกเตอร์คุณลักษณะที่ส่งคืนสำหรับเลเยอร์เอาต์พุตนี้ - 2 หรือ 4 มิติ เช่น
[1 x N]
หรือ[1 x 1 x 1 x N]
- ด้วยองค์ประกอบ