دمج مقسمات الصور

يتنبأ مقسمو الصور بما إذا كان كل بكسل من الصورة مرتبطًا بفئة معينة. هذا على عكس اكتشاف الكائن ، الذي يكتشف الكائنات في مناطق مستطيلة ، وتصنيف الصورة ، الذي يصنف الصورة الإجمالية. راجع نظرة عامة على تجزئة الصورة لمزيد من المعلومات حول مقسمات الصور.

استخدم واجهة برمجة تطبيقات ImageSegmenter الخاصة بمكتبة المهام لنشر مقسمات الصور المخصصة الخاصة بك أو تلك التي تم اختبارها مسبقًا في تطبيقات الهاتف المحمول الخاصة بك.

الملامح الرئيسية لواجهة برمجة تطبيقات ImageSegmenter

• إدخال معالجة الصورة ، بما في ذلك التدوير وتغيير الحجم وتحويل مساحة اللون.

• لغة خريطة التسمية.

• نوعان من المخرجات ، قناع الفئة وأقنعة الثقة.

• ملصق ملون لغرض العرض.

نماذج التجزئة المدعومة للصور

النماذج التالية مضمونة لتكون متوافقة مع ImageSegmenter API.

• نماذج تجزئة الصور سابقة التدريب على TensorFlow Hub .

• النماذج المخصصة التي تلبي متطلبات توافق النموذج .

تشغيل الاستدلال في Java

راجع التطبيق المرجعي Image Segmentation للحصول على مثال حول كيفية استخدام ImageSegmenter في تطبيق Android.

الخطوة 1: استيراد تبعية Gradle والإعدادات الأخرى

انسخ ملف النموذج .tflite إلى دليل الأصول الخاص بوحدة Android حيث سيتم تشغيل النموذج. حدد أنه لا ينبغي ضغط الملف ، وأضف مكتبة TensorFlow Lite إلى ملف build.gradle الخاص بالوحدة:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

الخطوة 2: استخدام النموذج

// Initialization
ImageSegmenterOptions options =
    ImageSegmenterOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setOutputType(OutputType.CONFIDENCE_MASK)
        .build();
ImageSegmenter imageSegmenter =
    ImageSegmenter.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Segmentation> results = imageSegmenter.segment(image);

انظر التعليمات البرمجية المصدر و javadoc لمزيد من الخيارات لتكوين ImageSegmenter .

قم بتشغيل الاستدلال في iOS

الخطوة 1: قم بتثبيت التبعيات

تدعم مكتبة المهام التثبيت باستخدام CocoaPods. تأكد من تثبيت CocoaPods على نظامك. يرجى الاطلاع على دليل تثبيت CocoaPods للحصول على الإرشادات.

يرجى الاطلاع على دليل CocoaPods للحصول على تفاصيل حول إضافة القرون إلى مشروع Xcode.

أضف TensorFlowLiteTaskVision في Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

تأكد من أن نموذج .tflite الذي ستستخدمه للاستدلال موجود في حزمة تطبيقاتك.

الخطوة 2: استخدام النموذج

سويفت

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "deeplabv3",
                                            ofType: "tflite") else { return }

let options = ImageSegmenterOptions(modelPath: modelPath)

// Configure any additional options:
// options.outputType = OutputType.confidenceMasks

let segmenter = try ImageSegmenter.segmenter(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "plane.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let segmentationResult = try segmenter.segment(mlImage: mlImage)

ج موضوعية

// Imports
#import <TensorFlowLiteTaskVision/TensorFlowLiteTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"deeplabv3" ofType:@"tflite"];

TFLImageSegmenterOptions *options =
    [[TFLImageSegmenterOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.outputType = TFLOutputTypeConfidenceMasks;

TFLImageSegmenter *segmenter = [TFLImageSegmenter imageSegmenterWithOptions:options
                                                                      error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"plane.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLSegmentationResult *segmentationResult =
    [segmenter segmentWithGMLImage:gmlImage error:nil];

انظر التعليمات البرمجية المصدر لمزيد من الخيارات لتكوين TFLImageSegmenter .

قم بتشغيل الاستدلال في بايثون

الخطوة 1: قم بتثبيت حزمة النقطة

pip install tflite-support

الخطوة 2: استخدام النموذج

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
segmentation_options = processor.SegmentationOptions(
    output_type=processor.SegmentationOptions.OutputType.CATEGORY_MASK)
options = vision.ImageSegmenterOptions(base_options=base_options, segmentation_options=segmentation_options)
segmenter = vision.ImageSegmenter.create_from_options(options)

# Alternatively, you can create an image segmenter in the following manner:
# segmenter = vision.ImageSegmenter.create_from_file(model_path)

# Run inference
image_file = vision.TensorImage.create_from_file(image_path)
segmentation_result = segmenter.segment(image_file)

انظر التعليمات البرمجية المصدر لمزيد من الخيارات لتكوين ImageSegmenter .

تشغيل الاستدلال في C ++

// Initialization
ImageSegmenterOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<ImageSegmenter> image_segmenter = ImageSegmenter::CreateFromOptions(options).value();

// Create input frame_buffer from your inputs, `image_data` and `image_dimension`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer = CreateFromRgbRawBuffer(
      image_data, image_dimension);

// Run inference
const SegmentationResult result = image_segmenter->Segment(*frame_buffer).value();

انظر التعليمات البرمجية المصدر لمزيد من الخيارات لتكوين ImageSegmenter .

نتائج المثال

فيما يلي مثال على نتائج تجزئة deeplab_v3 ، وهو نموذج تجزئة عام متاح على TensorFlow Hub.

Color Legend:
 (r: 000, g: 000, b: 000):
  index       : 0
  class name  : background
 (r: 128, g: 000, b: 000):
  index       : 1
  class name  : aeroplane

# (omitting multiple lines for conciseness) ...

 (r: 128, g: 192, b: 000):
  index       : 19
  class name  : train
 (r: 000, g: 064, b: 128):
  index       : 20
  class name  : tv
Tip: use a color picker on the output PNG file to inspect the output mask with
this legend.

يجب أن يبدو قناع فئة التجزئة كما يلي:

جرب أداة CLI التجريبية البسيطة لـ ImageSegmenter مع نموذجك وبيانات الاختبار.

متطلبات توافق النموذج

تتوقع ImageSegmenter API نموذج TFLite مع بيانات تعريف إلزامية لنموذج TFLite . شاهد أمثلة على إنشاء بيانات أولية لمقاطع الصور باستخدام TensorFlow Lite Metadata Writer API .

• موتر صورة الإدخال (kTfLiteUInt8 / kTfLiteFloat32)

  • إدخال الصورة بالحجم [batch x height x width x channels] .
  • الاستدلال batch غير مدعوم (يجب أن تكون الدُفعة 1).
  • يتم دعم مدخلات RGB فقط (يجب أن تكون channels 3).
  • إذا كان النوع هو kTfLiteFloat32 ، يلزم إرفاق خيارات Normalization بالبيانات الوصفية لتطبيع الإدخال.

• موتر أقنعة الإخراج: (kTfLiteUInt8 / kTfLiteFloat32)

  • موتر الحجم [batch x mask_height x mask_width x num_classes] ، حيث يلزم أن تكون batch 1 ، mask_width وارتفاع mask_height هي أبعاد أقنعة التجزئة التي ينتجها النموذج ، وعدد num_classes هو عدد الفئات التي يدعمها النموذج.
  • يمكن إرفاق خريطة (خرائط) تسمية اختيارية (لكن موصى بها) كملفات AssociatedFile من النوع TENSOR_AXIS_LABELS ، تحتوي على تسمية واحدة في كل سطر. يتم استخدام أول ملف AssociatedFile (إن وجد) لملء حقل label (المسمى class_name في C ++) من النتائج. يتم ملء حقل اسم العرض من ملف AssociatedFile (إن وجد) الذي تتطابق display_names_locale display_name ImageSegmenterOptions المستخدمة في وقت الإنشاء ("en" افتراضيًا ، أي الإنجليزية). إذا لم يكن أي منها متاحًا ، فسيتم ملء حقل index الخاص بالنتائج فقط.