سوالی دارید؟ در انجمن بازدید از انجمن TensorFlow با انجمن ارتباط برقرار کنید

تقسیم بندی

تقسیم بندی تصویر فرآیند تقسیم یک تصویر دیجیتالی به چند بخش (مجموعه ای از پیکسل ها که به عنوان اشیا objects تصویری نیز شناخته می شوند) است. هدف از تقسیم بندی ساده سازی و / یا تغییر نمایش تصویر به چیزی است که معنی دارتر و تجزیه و تحلیل آن آسان تر است.

تصویر زیر خروجی مدل تقسیم تصویر در Android را نشان می دهد. این مدل با دقت بالا روی اشیا target مورد نظر ماسکی ایجاد می کند.

شروع کنید

اگر تازه وارد TensorFlow Lite هستید و با Android یا iOS کار می کنید ، توصیه می شود مثالهای زیر را که می توانند به شما در شروع کار کمک کنند ، جستجو کنید.

می توانید API خارج از جعبه را از TensorFlow Lite Task Library برای ادغام مدل های تقسیم تصویر فقط در چند خط کد استفاده کنید. همچنین می توانید مدل را با استفاده از TensorFlow Lite Interpreter Java API ادغام کنید .

مثال اندروید زیر به ترتیب اجرای هر دو روش را به عنوان lib_task_api و lib_interpreter نشان می دهد.

مشاهده نمونه Android

مشاهده مثال iOS

اگر از پلتفرمی غیر از Android یا iOS استفاده می کنید یا از قبل با TensorFlow Lite API آشنا هستید ، می توانید مدل تقسیم تصویر آغازگر ما را بارگیری کنید.

دانلود مدل استارتر

شرح مدل

DeepLab یک مدل پیشرفته برای یادگیری عمیق برای تقسیم بندی تصویر معنایی است ، که در آن هدف اختصاص برچسب های معنایی (به عنوان مثال شخص ، سگ ، گربه) به هر پیکسل در تصویر ورودی است.

چگونه کار می کند

تقسیم بندی تصویر معنایی پیش بینی می کند که آیا هر پیکسل یک تصویر با یک کلاس خاص مرتبط است یا خیر. این در تضاد با تشخیص شی object است که اشیا in را در مناطق مستطیل شکل تشخیص می دهد و طبقه بندی تصویر ، که تصویر کلی را طبقه بندی می کند.

اجرای فعلی شامل ویژگی های زیر است:

  1. DeepLabv1: ما برای کنترل صریح وضوحی که پاسخ های ویژگی در شبکه های عصبی Deep Convolutional محاسبه می شوند ، از تجمع آتروس استفاده می کنیم.
  2. DeepLabv2: ما برای تقسیم بندی قوی اشیا at در مقیاس های مختلف با فیلترها با نرخ نمونه برداری چندگانه و دیدگاه های موثر ، از استخر هرمی فضایی فضایی (ASPP) استفاده می کنیم.
  3. DeepLabv3: ما ماژول ASPP را با ویژگی سطح تصویر [5 ، 6] تقویت می کنیم تا اطلاعات با دامنه طولانی تر را بگیریم. ما همچنین پارامترهای نرمال سازی دسته ای [7] را برای تسهیل آموزش در نظر می گیریم. به طور خاص ، ما از استخراج آتروس برای استخراج ویژگی های خروجی در گام های مختلف خروجی در حین آموزش و ارزیابی استفاده می کنیم ، که به طور کارآمد آموزش BN را در گام خروجی = 16 و در حین ارزیابی به عملکرد بالایی در گام خروجی = 8 می رساند.
  4. DeepLabv3 +: ما DeepLabv3 را گسترش می دهیم تا شامل یک ماژول رمزگشای ساده و در عین حال کارآمد برای اصلاح نتایج تقسیم بندی به ویژه در امتداد مرزهای جسم باشد. علاوه بر این ، در این ساختار رمزگذار-رمزگشای می توان به طور دلخواه وضوح ویژگی های رمزگذار استخراج شده را با چرخش آتروس به مبادله دقت و زمان اجرا کنترل کرد.

معیارهای عملکرد

اعداد معیار عملکرد با ابزاری که در اینجا توضیح داده شده تولید می شوند.

نام مدل اندازه مدل دستگاه پردازنده گرافیکی پردازنده
Deeplab v3 2.7 مگابایت Pixel 3 (اندروید 10) 16 میلی ثانیه 37 میلی ثانیه *
Pixel 4 (اندروید 10) 20 میلی ثانیه 23 میلی ثانیه *
آیفون XS (iOS 12.4.1) 16 میلی ثانیه 25 میلی ثانیه **

* 4 موضوع استفاده شده است

** 2 موضوع مورد استفاده در iPhone برای بهترین نتیجه عملکرد.

مطالعه بیشتر و منابع