वस्तु डिटेक्टरों को एकीकृत करें

ऑब्जेक्ट डिटेक्टर यह पहचान सकते हैं कि वस्तुओं का कौन सा ज्ञात सेट मौजूद हो सकता है और दी गई छवि या वीडियो स्ट्रीम में उनकी स्थिति के बारे में जानकारी प्रदान कर सकता है। ऑब्जेक्ट डिटेक्टर को वस्तुओं के कई वर्गों की उपस्थिति और स्थान का पता लगाने के लिए प्रशिक्षित किया जाता है। उदाहरण के लिए, एक मॉडल को उन छवियों के साथ प्रशिक्षित किया जा सकता है जिनमें फलों के विभिन्न टुकड़े होते हैं, साथ ही एक लेबल जो उनके द्वारा प्रतिनिधित्व किए जाने वाले फलों के वर्ग को निर्दिष्ट करता है (उदाहरण के लिए एक सेब, एक केला, या एक स्ट्रॉबेरी), और डेटा निर्दिष्ट करता है कि प्रत्येक वस्तु कहां दिखाई देती है छवि। ऑब्जेक्ट डिटेक्टरों के बारे में अधिक जानकारी के लिए ऑब्जेक्ट डिटेक्शन का परिचय देखें।

अपने कस्टम ऑब्जेक्ट डिटेक्टरों या पूर्व-प्रशिक्षित लोगों को अपने मोबाइल ऐप में तैनात करने के लिए टास्क लाइब्रेरी ऑब्जेक्ट ObjectDetector एपीआई का उपयोग करें।

ऑब्जेक्ट डिटेक्टर एपीआई की मुख्य विशेषताएं

  • इनपुट इमेज प्रोसेसिंग, जिसमें रोटेशन, आकार बदलना और रंग स्थान रूपांतरण शामिल हैं।

  • लेबल मानचित्र स्थान।

  • परिणामों को फ़िल्टर करने के लिए स्कोर सीमा।

  • टॉप-के डिटेक्शन परिणाम।

  • लेबल अनुमत सूची और अस्वीकृत सूची।

समर्थित वस्तु डिटेक्टर मॉडल

निम्नलिखित मॉडलों को ObjectDetector एपीआई के साथ संगत होने की गारंटी है।

जावा में अनुमान चलाएँ

एंड्रॉइड ऐप में ObjectDetector का उपयोग कैसे करें, इसके उदाहरण के लिए ऑब्जेक्ट डिटेक्शन रेफरेंस ऐप देखें।

चरण 1: ग्रैडल निर्भरता और अन्य सेटिंग्स आयात करें

एंड्रॉइड मॉड्यूल की संपत्ति निर्देशिका में .tflite मॉडल फ़ाइल की प्रतिलिपि बनाएँ जहां मॉडल चलाया जाएगा। निर्दिष्ट करें कि फ़ाइल को संपीड़ित नहीं किया जाना चाहिए, और TensorFlow Lite लाइब्रेरी को मॉड्यूल की build.gradle फ़ाइल में जोड़ें:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

चरण 2: मॉडल का उपयोग करना

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

ऑब्जेक्ट डिटेक्टर को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड और ObjectDetector

आईओएस में अनुमान चलाएं

चरण 1: निर्भरताएँ स्थापित करें

टास्क लाइब्रेरी CocoaPods का उपयोग करके इंस्टॉलेशन का समर्थन करती है। सुनिश्चित करें कि आपके सिस्टम पर CocoaPods स्थापित है। निर्देशों के लिए कृपया CocoaPods इंस्टॉलेशन गाइड देखें।

Xcode प्रोजेक्ट में पॉड्स जोड़ने के विवरण के लिए कृपया CocoaPods गाइड देखें।

पॉडफाइल में TensorFlowLiteTaskVision पॉड जोड़ें।

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

सुनिश्चित करें कि अनुमान के लिए आप जिस .tflite मॉडल का उपयोग कर रहे हैं वह आपके ऐप बंडल में मौजूद है।

चरण 2: मॉडल का उपयोग करना

तीव्र

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

उद्देश्य सी

// Imports
#import <TensorFlowLiteTaskVision/TFLTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

TFLObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

पायथन में अनुमान चलाएँ

चरण 1: पाइप पैकेज स्थापित करें

pip install tflite-support

चरण 2: मॉडल का उपयोग करना

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

ObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

सी ++ में अनुमान चलाएं

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

ObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

उदाहरण परिणाम

यहाँ TensorFlow हब से ssd mobilenet v1 के खोज परिणामों का एक उदाहरण दिया गया है।

कुत्ते

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

इनपुट छवि पर बाउंडिंग बॉक्स प्रस्तुत करें:

डिटेक्शन आउटपुट

अपने स्वयं के मॉडल और परीक्षण डेटा के साथ ऑब्जेक्ट डिटेक्टर के लिए सरल सीएलआई डेमो टूल आज़माएं

मॉडल संगतता आवश्यकताएँ

ऑब्जेक्ट डिटेक्टर एपीआई अनिवार्य ObjectDetector मॉडल मेटाडेटा के साथ एक टीएफलाइट मॉडल की अपेक्षा करता है। TensorFlow Lite मेटाडेटा राइटर API का उपयोग करके ऑब्जेक्ट डिटेक्टरों के लिए मेटाडेटा बनाने के उदाहरण देखें।

संगत ऑब्जेक्ट डिटेक्टर मॉडल को निम्नलिखित आवश्यकताओं को पूरा करना चाहिए:

  • इनपुट छवि टेंसर: (kTfLiteUInt8/kTfLiteFloat32)

    • आकार का छवि इनपुट [batch x height x width x channels]
    • बैच अनुमान समर्थित नहीं है ( batch 1 होना आवश्यक है)।
    • केवल आरजीबी इनपुट समर्थित हैं ( channels 3 होना आवश्यक है)।
    • यदि प्रकार kTfLiteFloat32 है, तो सामान्यीकरण विकल्प को इनपुट सामान्यीकरण के लिए मेटाडेटा से संलग्न करना आवश्यक है।
  • आउटपुट टेंसर DetectionPostProcess सेशन के 4 आउटपुट होने चाहिए, यानी:

    • स्थान टेंसर (kTfLiteFloat32)
      • आकार का टेंसर [1 x num_results x 4] , आंतरिक सरणी [शीर्ष, बाएँ, दाएँ, नीचे] रूप में बाउंडिंग बॉक्स का प्रतिनिधित्व करता है।
      • बाउंडिंगबॉक्सप्रॉपर्टीज को मेटाडेटा के साथ संलग्न करना आवश्यक है और इसमें type=BOUNDARIES और `कोऑर्डिनेट_टाइप = अनुपात निर्दिष्ट होना चाहिए।
    • क्लास टेंसर (kTfLiteFloat32)

      • आकार का टेंसर [1 x num_results] , प्रत्येक मान एक वर्ग के पूर्णांक सूचकांक का प्रतिनिधित्व करता है।
      • वैकल्पिक (लेकिन अनुशंसित) लेबल मानचित्र को TENSOR_VALUE_LABELS प्रकार के साथ AssociatedFile-s के रूप में संलग्न किया जा सकता है, जिसमें प्रति पंक्ति एक लेबल होता है। उदाहरण लेबल फ़ाइल देखें। इस तरह की पहली एसोसिएटेडफाइल (यदि कोई हो) का उपयोग परिणामों के class_name फ़ील्ड को भरने के लिए किया जाता है। display_name फ़ील्ड एसोसिएटेडफाइल (यदि कोई हो) से भरी जाती है, जिसका स्थान निर्माण के समय उपयोग किए गए ObjectDetectorOptions display_names_locale से मेल खाता है (डिफ़ॉल्ट रूप से "एन", यानी अंग्रेजी)। यदि इनमें से कोई भी उपलब्ध नहीं है, तो केवल परिणामों की index फ़ील्ड भरी जाएगी।
    • स्कोर टेंसर (kTfLiteFloat32)

      • आकार का टेंसर [1 x num_results] , प्रत्येक मान पता लगाए गए ऑब्जेक्ट के स्कोर का प्रतिनिधित्व करता है।
    • डिटेक्शन टेंसर की संख्या (kTfLiteFloat32)

      • [1] आकार के टेंसर के रूप में पूर्णांक num_results।
,

ऑब्जेक्ट डिटेक्टर यह पहचान सकते हैं कि वस्तुओं का कौन सा ज्ञात सेट मौजूद हो सकता है और दी गई छवि या वीडियो स्ट्रीम में उनकी स्थिति के बारे में जानकारी प्रदान कर सकता है। ऑब्जेक्ट डिटेक्टर को वस्तुओं के कई वर्गों की उपस्थिति और स्थान का पता लगाने के लिए प्रशिक्षित किया जाता है। उदाहरण के लिए, एक मॉडल को उन छवियों के साथ प्रशिक्षित किया जा सकता है जिनमें फलों के विभिन्न टुकड़े होते हैं, साथ ही एक लेबल जो उनके द्वारा प्रतिनिधित्व किए जाने वाले फलों के वर्ग को निर्दिष्ट करता है (उदाहरण के लिए एक सेब, एक केला, या एक स्ट्रॉबेरी), और डेटा निर्दिष्ट करता है कि प्रत्येक वस्तु कहां दिखाई देती है छवि। ऑब्जेक्ट डिटेक्टरों के बारे में अधिक जानकारी के लिए ऑब्जेक्ट डिटेक्शन का परिचय देखें।

अपने कस्टम ऑब्जेक्ट डिटेक्टरों या पूर्व-प्रशिक्षित लोगों को अपने मोबाइल ऐप में तैनात करने के लिए टास्क लाइब्रेरी ऑब्जेक्ट ObjectDetector एपीआई का उपयोग करें।

ऑब्जेक्ट डिटेक्टर एपीआई की मुख्य विशेषताएं

  • इनपुट इमेज प्रोसेसिंग, जिसमें रोटेशन, आकार बदलना और रंग स्थान रूपांतरण शामिल हैं।

  • लेबल मानचित्र स्थान।

  • परिणामों को फ़िल्टर करने के लिए स्कोर सीमा।

  • टॉप-के डिटेक्शन परिणाम।

  • लेबल अनुमत सूची और अस्वीकृत सूची।

समर्थित वस्तु डिटेक्टर मॉडल

निम्नलिखित मॉडलों को ObjectDetector एपीआई के साथ संगत होने की गारंटी है।

जावा में अनुमान चलाएँ

एंड्रॉइड ऐप में ObjectDetector का उपयोग कैसे करें, इसके उदाहरण के लिए ऑब्जेक्ट डिटेक्शन रेफरेंस ऐप देखें।

चरण 1: ग्रैडल निर्भरता और अन्य सेटिंग्स आयात करें

एंड्रॉइड मॉड्यूल की संपत्ति निर्देशिका में .tflite मॉडल फ़ाइल की प्रतिलिपि बनाएँ जहां मॉडल चलाया जाएगा। निर्दिष्ट करें कि फ़ाइल को संपीड़ित नहीं किया जाना चाहिए, और TensorFlow Lite लाइब्रेरी को मॉड्यूल की build.gradle फ़ाइल में जोड़ें:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-vision'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin'
}

चरण 2: मॉडल का उपयोग करना

// Initialization
ObjectDetectorOptions options =
    ObjectDetectorOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
ObjectDetector objectDetector =
    ObjectDetector.createFromFileAndOptions(
        context, modelFile, options);

// Run inference
List<Detection> results = objectDetector.detect(image);

ऑब्जेक्ट डिटेक्टर को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड और ObjectDetector

आईओएस में अनुमान चलाएं

चरण 1: निर्भरताएँ स्थापित करें

टास्क लाइब्रेरी CocoaPods का उपयोग करके इंस्टॉलेशन का समर्थन करती है। सुनिश्चित करें कि आपके सिस्टम पर CocoaPods स्थापित है। निर्देशों के लिए कृपया CocoaPods इंस्टॉलेशन गाइड देखें।

Xcode प्रोजेक्ट में पॉड्स जोड़ने के विवरण के लिए कृपया CocoaPods गाइड देखें।

पॉडफाइल में TensorFlowLiteTaskVision पॉड जोड़ें।

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskVision'
end

सुनिश्चित करें कि अनुमान के लिए आप जिस .tflite मॉडल का उपयोग कर रहे हैं वह आपके ऐप बंडल में मौजूद है।

चरण 2: मॉडल का उपयोग करना

तीव्र

// Imports
import TensorFlowLiteTaskVision

// Initialization
guard let modelPath = Bundle.main.path(forResource: "ssd_mobilenet_v1",
                                            ofType: "tflite") else { return }

let options = ObjectDetectorOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let detector = try ObjectDetector.detector(options: options)

// Convert the input image to MLImage.
// There are other sources for MLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
guard let image = UIImage (named: "cats_and_dogs.jpg"), let mlImage = MLImage(image: image) else { return }

// Run inference
let detectionResult = try detector.detect(mlImage: mlImage)

उद्देश्य सी

// Imports
#import <TensorFlowLiteTaskVision/TFLTaskVision.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"ssd_mobilenet_v1" ofType:@"tflite"];

TFLObjectDetectorOptions *options = [[TFLObjectDetectorOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLObjectDetector *detector = [TFLObjectDetector objectDetectorWithOptions:options
                                                                     error:nil];

// Convert the input image to MLImage.
UIImage *image = [UIImage imageNamed:@"dogs.jpg"];

// There are other sources for GMLImage. For more details, please see:
// https://developers.google.com/ml-kit/reference/ios/mlimage/api/reference/Classes/GMLImage
GMLImage *gmlImage = [[GMLImage alloc] initWithImage:image];

// Run inference
TFLDetectionResult *detectionResult = [detector detectWithGMLImage:gmlImage error:nil];

TFLObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

पायथन में अनुमान चलाएँ

चरण 1: पाइप पैकेज स्थापित करें

pip install tflite-support

चरण 2: मॉडल का उपयोग करना

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
detection_options = processor.DetectionOptions(max_results=2)
options = vision.ObjectDetectorOptions(base_options=base_options, detection_options=detection_options)
detector = vision.ObjectDetector.create_from_options(options)

# Alternatively, you can create an object detector in the following manner:
# detector = vision.ObjectDetector.create_from_file(model_path)

# Run inference
image = vision.TensorImage.create_from_file(image_path)
detection_result = detector.detect(image)

ObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

सी ++ में अनुमान चलाएं

// Initialization
ObjectDetectorOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<ObjectDetector> object_detector = ObjectDetector::CreateFromOptions(options).value();

// Run inference
const DetectionResult result = object_detector->Detect(*frame_buffer).value();

ObjectDetector को कॉन्फ़िगर करने के अधिक विकल्पों के लिए स्रोत कोड देखें।

उदाहरण परिणाम

यहाँ TensorFlow हब से ssd mobilenet v1 के खोज परिणामों का एक उदाहरण दिया गया है।

कुत्ते

Results:
 Detection #0 (red):
  Box: (x: 355, y: 133, w: 190, h: 206)
  Top-1 class:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1 (green):
  Box: (x: 103, y: 15, w: 138, h: 369)
  Top-1 class:
   index       : 17
   score       : 0.73047
   class name  : dog

इनपुट छवि पर बाउंडिंग बॉक्स प्रस्तुत करें:

डिटेक्शन आउटपुट

अपने स्वयं के मॉडल और परीक्षण डेटा के साथ ऑब्जेक्ट डिटेक्टर के लिए सरल सीएलआई डेमो टूल आज़माएं

मॉडल संगतता आवश्यकताएँ

ऑब्जेक्ट डिटेक्टर एपीआई अनिवार्य ObjectDetector मॉडल मेटाडेटा के साथ एक टीएफलाइट मॉडल की अपेक्षा करता है। TensorFlow Lite मेटाडेटा राइटर API का उपयोग करके ऑब्जेक्ट डिटेक्टरों के लिए मेटाडेटा बनाने के उदाहरण देखें।

संगत ऑब्जेक्ट डिटेक्टर मॉडल को निम्नलिखित आवश्यकताओं को पूरा करना चाहिए:

  • इनपुट छवि टेंसर: (kTfLiteUInt8/kTfLiteFloat32)

    • आकार का छवि इनपुट [batch x height x width x channels]
    • बैच अनुमान समर्थित नहीं है ( batch 1 होना आवश्यक है)।
    • केवल आरजीबी इनपुट समर्थित हैं ( channels 3 होना आवश्यक है)।
    • यदि प्रकार kTfLiteFloat32 है, तो सामान्यीकरण विकल्प को इनपुट सामान्यीकरण के लिए मेटाडेटा से संलग्न करना आवश्यक है।
  • आउटपुट टेंसर DetectionPostProcess सेशन के 4 आउटपुट होने चाहिए, यानी:

    • स्थान टेंसर (kTfLiteFloat32)
      • आकार का टेंसर [1 x num_results x 4] , आंतरिक सरणी [शीर्ष, बाएँ, दाएँ, नीचे] रूप में बाउंडिंग बॉक्स का प्रतिनिधित्व करता है।
      • बाउंडिंगबॉक्सप्रॉपर्टीज को मेटाडेटा के साथ संलग्न करना आवश्यक है और इसमें type=BOUNDARIES और `कोऑर्डिनेट_टाइप = अनुपात निर्दिष्ट होना चाहिए।
    • क्लास टेंसर (kTfLiteFloat32)

      • आकार का टेंसर [1 x num_results] , प्रत्येक मान एक वर्ग के पूर्णांक सूचकांक का प्रतिनिधित्व करता है।
      • वैकल्पिक (लेकिन अनुशंसित) लेबल मानचित्र को TENSOR_VALUE_LABELS प्रकार के साथ AssociatedFile-s के रूप में संलग्न किया जा सकता है, जिसमें प्रति पंक्ति एक लेबल होता है। उदाहरण लेबल फ़ाइल देखें। इस तरह की पहली एसोसिएटेडफाइल (यदि कोई हो) का उपयोग परिणामों के class_name फ़ील्ड को भरने के लिए किया जाता है। display_name फ़ील्ड एसोसिएटेडफाइल (यदि कोई हो) से भरी जाती है, जिसका स्थान निर्माण के समय उपयोग किए गए ObjectDetectorOptions display_names_locale से मेल खाता है (डिफ़ॉल्ट रूप से "एन", यानी अंग्रेजी)। यदि इनमें से कोई भी उपलब्ध नहीं है, तो केवल परिणामों की index फ़ील्ड भरी जाएगी।
    • स्कोर टेंसर (kTfLiteFloat32)

      • आकार का टेंसर [1 x num_results] , प्रत्येक मान पता लगाए गए ऑब्जेक्ट के स्कोर का प्रतिनिधित्व करता है।
    • डिटेक्शन टेंसर की संख्या (kTfLiteFloat32)

      • [1] आकार के टेंसर के रूप में पूर्णांक num_results।