احفظ التاريخ! يعود مؤتمر Google I / O من 18 إلى 20 مايو. سجل الآن
ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

تجزئة

تجزئة الصورة هي عملية تقسيم الصورة الرقمية إلى مقاطع متعددة (مجموعات من البكسل ، تُعرف أيضًا باسم كائنات الصورة). الهدف من التجزئة هو تبسيط و / أو تغيير تمثيل الصورة إلى شيء أكثر أهمية وأسهل في التحليل.

توضح الصورة التالية إخراج نموذج تجزئة الصورة على Android. سيقوم النموذج بإنشاء قناع فوق الكائنات المستهدفة بدقة عالية.

البدء

إذا كنت جديدًا على TensorFlow Lite وتعمل بنظام Android أو iOS ، فمن المستحسن أن تستكشف الأمثلة التالية للتطبيقات التي يمكن أن تساعدك على البدء.

يمكنك الاستفادة من واجهة برمجة التطبيقات الجاهزة من مكتبة مهام TensorFlow Lite لدمج نماذج تجزئة الصور في بضعة أسطر من التعليمات البرمجية. يمكنك أيضًا دمج النموذج باستخدام TensorFlow Lite Interpreter Java API .

يوضح مثال Android أدناه تنفيذ كلتا الطريقتين مثل lib_task_api و lib_interpreter ، على التوالي.

شاهد مثال Android

شاهد مثال iOS

إذا كنت تستخدم نظامًا أساسيًا بخلاف Android أو iOS ، أو كنت معتادًا بالفعل على واجهات برمجة تطبيقات TensorFlow Lite ، فيمكنك تنزيل نموذج تجزئة الصور المبدئية .

تنزيل نموذج المبتدئين

نموذج الوصف

DeepLab هو أحدث نموذج للتعلم العميق لتجزئة الصور الدلالية ، حيث الهدف هو تعيين تسميات دلالية (مثل شخص ، كلب ، قطة) لكل بكسل في صورة الإدخال.

كيف تعمل

يتنبأ تجزئة الصورة الدلالية بما إذا كانت كل بكسل من الصورة مرتبطة بفئة معينة. هذا على عكس اكتشاف الكائن ، الذي يكتشف الكائنات في مناطق مستطيلة ، وتصنيف الصورة ، الذي يصنف الصورة الإجمالية.

يتضمن التطبيق الحالي الميزات التالية:

  1. DeepLabv1: نستخدم الالتفاف الأذيني للتحكم بشكل صريح في الدقة التي يتم بها حساب استجابات الميزات داخل الشبكات العصبية التلافيفية العميقة.
  2. DeepLabv2: نستخدم تجميع الهرم المكاني الأذيني (ASPP) لتقسيم الكائنات بقوة بمقاييس متعددة باستخدام مرشحات بمعدلات أخذ عينات متعددة ومجالات عرض فعالة.
  3. DeepLabv3: قمنا بزيادة وحدة ASPP بميزة مستوى الصورة [5 ، 6] لالتقاط معلومات ذات مدى أطول. نقوم أيضًا بتضمين معلمات تسوية الدفعات [7] لتسهيل التدريب. على وجه الخصوص ، نحن نطبق الالتفاف الأذيني لاستخراج ميزات الإخراج في خطوات إخراج مختلفة أثناء التدريب والتقييم ، مما يتيح بكفاءة تدريب BN عند خطوة الإخراج = 16 ويحقق أداءً عاليًا عند خطوة الإخراج = 8 أثناء التقييم.
  4. DeepLabv3 +: قمنا بتوسيع DeepLabv3 لتشمل وحدة فك ترميز بسيطة وفعالة لتحسين نتائج التجزئة خاصة على طول حدود الكائن. علاوة على ذلك ، في هيكل وحدة فك التشفير هذا ، يمكن للمرء التحكم بشكل تعسفي في دقة ميزات المشفر المستخرج عن طريق الالتفاف الأذيني لمقايضة الدقة ووقت التشغيل.

معايير الأداء

يتم إنشاء أرقام قياس الأداء باستخدام الأداة الموضحة هنا .

اسم النموذج حجم النموذج جهاز GPU وحدة المعالجة المركزية
ديب لاب v3 2.7 ميجا بايت Pixel 3 (Android 10) 16 مللي ثانية 37 مللي ثانية *
Pixel 4 (Android 10) 20 مللي ثانية 23 مللي ثانية *
iPhone XS (iOS 12.4.1) 16 مللي ثانية 25 ملي ثانية **

* 4 خيوط مستخدمة.

** 2 خيوط تستخدم على iPhone للحصول على أفضل نتيجة أداء.

مزيد من القراءة والموارد