Klasifikasi teks

Gunakan model TensorFlow Lite untuk mengkategorikan paragraf ke dalam grup yang telah ditentukan sebelumnya.

Memulai

Jika Anda baru mengenal TensorFlow Lite dan bekerja dengan Android, sebaiknya pelajari panduan Pustaka Tugas TensorFLow Lite untuk mengintegrasikan model klasifikasi teks hanya dalam beberapa baris kode. Anda juga dapat mengintegrasikan model menggunakan TensorFlow Lite Interpreter Java API .

Contoh Android di bawah ini mendemonstrasikan implementasi kedua metode sebagai lib_task_api dan lib_interpreter .

Contoh Android

Jika Anda menggunakan platform selain Android, atau sudah familiar dengan TensorFlow Lite API, Anda dapat mendownload model klasifikasi teks awal kami.

Unduh model pemula

Bagaimana itu bekerja

Klasifikasi teks mengkategorikan paragraf ke dalam kelompok yang telah ditentukan berdasarkan isinya.

Model terlatih ini memprediksi apakah sentimen suatu paragraf positif atau negatif. Ini dilatih pada Kumpulan Data Ulasan Film Besar v1.0 dari Mass dkk, yang terdiri dari ulasan film IMDB yang diberi label positif atau negatif.

Berikut langkah-langkah mengklasifikasikan paragraf dengan model:

  1. Tokenisasikan paragraf dan ubah menjadi daftar id kata menggunakan kosakata yang telah ditentukan sebelumnya.
  2. Masukkan daftar ke model TensorFlow Lite.
  3. Dapatkan probabilitas paragraf menjadi positif atau negatif dari keluaran model.

Catatan

  • Hanya bahasa Inggris yang didukung.
  • Model ini dilatih pada kumpulan data ulasan film sehingga Anda mungkin mengalami penurunan akurasi saat mengklasifikasikan teks di domain lain.

Tolok ukur kinerja

Angka tolok ukur kinerja dihasilkan dengan alat yang dijelaskan di sini .

Nama model Ukuran model Perangkat CPU
Klasifikasi Teks 0,6 Mb Piksel 3 (Android 10) 0,05 md*
Piksel 4 (Android 10) 0,05 md*
iPhone XS (iOS 12.4.1) 0,025 md**

* 4 benang digunakan.

** 2 thread digunakan di iPhone untuk hasil performa terbaik.

Contoh keluaran

Teks Negatif (0) Positif (1)
Ini adalah film terbaik yang pernah saya lihat dalam beberapa tahun terakhir. Sangat merekomendasikannya! 25,3% 74,7%
Buang-buang waktu saja. 72,5% 27,5%

Gunakan kumpulan data pelatihan Anda

Ikuti tutorial ini untuk menerapkan teknik yang sama yang digunakan di sini untuk melatih model klasifikasi teks menggunakan kumpulan data Anda sendiri. Dengan kumpulan data yang tepat, Anda dapat membuat model untuk kasus penggunaan seperti kategorisasi dokumen atau deteksi komentar beracun.

Baca lebih lanjut tentang klasifikasi teks