Tutorial pemrosesan teks TensorFlow

Tutorial pemrosesan teks TensorFlow memberikan petunjuk langkah demi langkah untuk menyelesaikan masalah teks umum dan pemrosesan bahasa alami (NLP).

TensorFlow menyediakan dua solusi untuk pemrosesan teks dan bahasa alami: KerasNLP dan TensorFlow Text. KerasNLP adalah pustaka NLP tingkat tinggi yang menyertakan semua model berbasis Transformer terbaru serta utilitas tokenisasi tingkat rendah. Ini adalah solusi yang disarankan untuk sebagian besar kasus penggunaan NLP.

Jika memerlukan akses ke alat pemrosesan teks tingkat rendah, Anda dapat menggunakan Teks TensorFlow. TensorFlow Text menyediakan kumpulan operasi dan pustaka untuk membantu Anda bekerja dengan masukan dalam bentuk teks seperti string teks mentah atau dokumen.

KerasNLP

  • Memulai dengan KerasNLP : Pelajari KerasNLP dengan melakukan analisis sentimen pada tingkat kompleksitas yang progresif, mulai dari menggunakan model yang telah dilatih sebelumnya hingga membangun Transformer Anda sendiri dari awal.

Pembuatan teks

Klasifikasi teks

  • Mengklasifikasikan teks dengan BERT : Sempurnakan BERT untuk melakukan analisis sentimen pada kumpulan data ulasan film IMDb teks biasa.
  • Klasifikasi teks dengan RNN : Latih RNN untuk melakukan analisis sentimen pada ulasan film IMDb.
  • TF.Text Metrics : Pelajari tentang metrik yang tersedia melalui TensorFlow Text. Pustaka berisi implementasi metrik kesamaan teks seperti ROUGE-L, yang dapat digunakan untuk evaluasi otomatis model pembuatan teks.

NLP dengan BERT

Penyematan