تجزئة الصورة هي عملية تقسيم الصورة الرقمية إلى أجزاء متعددة (مجموعات من البكسل ، تُعرف أيضًا باسم كائنات الصورة). الهدف من التجزئة هو تبسيط و / أو تغيير تمثيل الصورة إلى شيء أكثر أهمية وأسهل في التحليل.
تُظهر الصورة التالية إخراج نموذج تجزئة الصورة على Android. سيقوم النموذج بإنشاء قناع فوق الكائنات المستهدفة بدقة عالية.
البدء
إذا كنت جديدًا على TensorFlow Lite وتعمل بنظام Android أو iOS ، فمن المستحسن أن تستكشف الأمثلة التالية للتطبيقات التي يمكن أن تساعدك على البدء.
يمكنك الاستفادة من واجهة برمجة التطبيقات الجاهزة من مكتبة المهام TensorFlow Lite لدمج نماذج تجزئة الصور في بضعة أسطر من التعليمات البرمجية. يمكنك أيضًا دمج النموذج باستخدام TensorFlow Lite Interpreter Java API .
يوضح مثال Android أدناه تنفيذ كلتا الطريقتين مثل lib_task_api و lib_interpreter ، على التوالي.
إذا كنت تستخدم نظامًا أساسيًا بخلاف Android أو iOS ، أو كنت معتادًا بالفعل على واجهات برمجة تطبيقات TensorFlow Lite ، فيمكنك تنزيل نموذج تجزئة الصور المبدئية.
نموذج الوصف
DeepLab هو نموذج تعلم عميق حديث لتجزئة الصور الدلالية ، حيث الهدف هو تعيين تسميات دلالية (مثل شخص ، كلب ، قطة) لكل بكسل في صورة الإدخال.
كيف تعمل
يتنبأ تجزئة الصورة الدلالية بما إذا كانت كل بكسل في الصورة مرتبطة بفئة معينة. هذا على عكس اكتشاف الكائن ، الذي يكتشف الكائنات في مناطق مستطيلة ، وتصنيف الصورة ، الذي يصنف الصورة الإجمالية.
يتضمن التطبيق الحالي الميزات التالية:
- DeepLabv1: نستخدم الالتفاف الأذيني للتحكم صراحة في الدقة التي يتم بها حساب استجابات الميزات داخل الشبكات العصبية التلافيفية العميقة.
- DeepLabv2: نستخدم تجميع الهرم المكاني الأذيني (ASPP) لتقسيم الكائنات بقوة بمقاييس متعددة باستخدام مرشحات بمعدلات أخذ عينات متعددة ومجالات عرض فعالة.
- DeepLabv3: قمنا بزيادة وحدة ASPP بميزة مستوى الصورة [5 ، 6] لالتقاط معلومات ذات مدى أطول. نقوم أيضًا بتضمين معلمات تسوية الدفعات [7] لتسهيل التدريب. على وجه الخصوص ، نحن نطبق الالتفاف الأذيني لاستخراج ميزات الإخراج في خطوات إخراج مختلفة أثناء التدريب والتقييم ، مما يتيح بكفاءة تدريب BN عند خطوة الإخراج = 16 ويحقق أداءً عاليًا عند خطوة الإخراج = 8 أثناء التقييم.
- DeepLabv3 +: قمنا بتوسيع DeepLabv3 لتشمل وحدة فك ترميز بسيطة وفعالة لتحسين نتائج التجزئة خاصة على طول حدود الكائن. علاوة على ذلك ، في هيكل وحدة فك التشفير هذا ، يمكن للمرء التحكم بشكل تعسفي في دقة ميزات المشفر المستخرجة عن طريق الالتفاف الأذيني لمقايضة الدقة ووقت التشغيل.
معايير الأداء
يتم إنشاء أرقام قياس الأداء باستخدام الأداة الموضحة هنا .
| اسم النموذج | حجم النموذج | جهاز | GPU | وحدة المعالجة المركزية |
|---|---|---|---|---|
| ديب لاب v3 | 2.7 ميجا بايت | Pixel 3 (Android 10) | 16 مللي ثانية | 37 مللي ثانية * |
| Pixel 4 (Android 10) | 20 مللي ثانية | 23 مللي ثانية * | ||
| iPhone XS (iOS 12.4.1) | 16 مللي ثانية | 25 ملي ثانية ** |
* 4 خيوط مستخدمة.
** خيطان مستخدمان على iPhone للحصول على أفضل نتيجة أداء.