Segmentasi

Segmentasi gambar adalah proses mempartisi gambar digital menjadi beberapa segmen (kumpulan piksel, juga dikenal sebagai objek gambar). Tujuan dari segmentasi adalah untuk menyederhanakan dan/atau mengubah representasi suatu gambar menjadi sesuatu yang lebih bermakna dan mudah dianalisis.

Gambar berikut menunjukkan keluaran model segmentasi gambar di Android. Model akan membuat topeng pada objek target dengan akurasi tinggi.

Memulai

Jika Anda baru menggunakan TensorFlow Lite dan menggunakan Android atau iOS, sebaiknya Anda menjelajahi contoh aplikasi berikut yang dapat membantu Anda memulai.

Anda dapat memanfaatkan API bawaan dari TensorFlow Lite Task Library untuk mengintegrasikan model segmentasi gambar hanya dalam beberapa baris kode. Anda juga dapat mengintegrasikan model menggunakan TensorFlow Lite Interpreter Java API .

Contoh Android di bawah ini mendemonstrasikan implementasi kedua metode sebagai lib_task_api dan lib_interpreter .

Lihat contoh Android

Lihat contoh iOS

Jika Anda menggunakan platform selain Android atau iOS, atau sudah familiar dengan TensorFlow Lite API , Anda dapat mendownload model segmentasi gambar awal kami.

Unduh model pemula

Deskripsi model

DeepLab adalah model pembelajaran mendalam yang canggih untuk segmentasi gambar semantik, yang tujuannya adalah untuk menetapkan label semantik (misalnya orang, anjing, kucing) ke setiap piksel dalam gambar masukan.

Bagaimana itu bekerja

Segmentasi gambar semantik memprediksi apakah setiap piksel suatu gambar dikaitkan dengan kelas tertentu. Hal ini berbeda dengan deteksi objek , yang mendeteksi objek dalam wilayah persegi panjang, dan klasifikasi gambar , yang mengklasifikasikan gambar secara keseluruhan.

Implementasi saat ini mencakup beberapa fitur berikut:

  1. DeepLabv1: Kami menggunakan konvolusi atrous untuk secara eksplisit mengontrol resolusi penghitungan respons fitur dalam Jaringan Neural Konvolusional Dalam.
  2. DeepLabv2: Kami menggunakan pengumpulan piramida spasial yang atrous (ASPP) untuk mensegmentasikan objek secara kuat pada berbagai skala dengan filter pada berbagai tingkat pengambilan sampel dan bidang pandang yang efektif.
  3. DeepLabv3: Kami menambah modul ASPP dengan fitur tingkat gambar [5, 6] untuk menangkap informasi dengan jangkauan lebih jauh. Kami juga menyertakan parameter normalisasi batch [7] untuk memfasilitasi pelatihan. Secara khusus, kami menerapkan konvolusi atrous untuk mengekstrak fitur keluaran pada langkah keluaran yang berbeda selama pelatihan dan evaluasi, yang secara efisien memungkinkan pelatihan BN pada langkah keluaran = 16 dan mencapai kinerja tinggi pada langkah keluaran = 8 selama evaluasi.
  4. DeepLabv3+: Kami memperluas DeepLabv3 dengan menyertakan modul decoder yang sederhana namun efektif untuk menyempurnakan hasil segmentasi terutama di sepanjang batas objek. Lebih jauh lagi, dalam struktur encoder-decoder ini seseorang dapat secara sewenang-wenang mengontrol resolusi fitur encoder yang diekstraksi melalui konvolusi yang sulit untuk mengorbankan presisi dan waktu proses.

Tolok ukur kinerja

Angka tolok ukur kinerja dihasilkan dengan alat yang dijelaskan di sini .

Nama model Ukuran model Perangkat GPU CPU
Deeplab v3 2,7 Mb Piksel 3 (Android 10) 16 md 37 md*
Piksel 4 (Android 10) 20 md 23 md*
iPhone XS (iOS 12.4.1) 16 md 25 md**

* 4 benang digunakan.

** 2 thread digunakan di iPhone untuk hasil performa terbaik.

Bacaan dan sumber lebih lanjut