Tutorial pemrosesan teks TensorFlow

Tutorial pemrosesan teks TensorFlow memberikan petunjuk langkah demi langkah untuk menyelesaikan masalah teks umum dan pemrosesan bahasa alami (NLP).

TensorFlow menyediakan dua solusi untuk pemrosesan teks dan bahasa alami: KerasNLP dan TensorFlow Text. KerasNLP adalah pustaka NLP tingkat tinggi yang menyertakan semua model berbasis Transformer terbaru serta utilitas tokenisasi tingkat rendah. Ini adalah solusi yang disarankan untuk sebagian besar kasus penggunaan NLP.

Jika memerlukan akses ke alat pemrosesan teks tingkat rendah, Anda dapat menggunakan Teks TensorFlow. TensorFlow Text menyediakan kumpulan operasi dan pustaka untuk membantu Anda bekerja dengan masukan dalam bentuk teks seperti string teks mentah atau dokumen.

KerasNLP

• Memulai dengan KerasNLP : Pelajari KerasNLP dengan melakukan analisis sentimen pada tingkat kompleksitas yang progresif, mulai dari menggunakan model yang telah dilatih sebelumnya hingga membangun Transformer Anda sendiri dari awal.

Pembuatan teks

• Pembuatan teks dengan RNN : Menghasilkan teks menggunakan RNN berbasis karakter dan kumpulan data tulisan Shakespeare.
• Terjemahan mesin saraf dengan perhatian : Latih model sequence-to-sequence (seq2seq) untuk terjemahan bahasa Spanyol ke bahasa Inggris.
• Terjemahan mesin saraf dengan Transformer dan Keras : Buat dan latih model Transformer urutan-ke-urutan untuk menerjemahkan bahasa Portugis ke bahasa Inggris.
• Keterangan gambar dengan perhatian visual : Buat keterangan gambar menggunakan model Transformer-decoder yang dibangun dengan lapisan perhatian.

Klasifikasi teks

• Mengklasifikasikan teks dengan BERT : Sempurnakan BERT untuk melakukan analisis sentimen pada kumpulan data ulasan film IMDb teks biasa.
• Klasifikasi teks dengan RNN : Latih RNN untuk melakukan analisis sentimen pada ulasan film IMDb.
• TF.Text Metrics : Pelajari tentang metrik yang tersedia melalui TensorFlow Text. Pustaka berisi implementasi metrik kesamaan teks seperti ROUGE-L, yang dapat digunakan untuk evaluasi otomatis model pembuatan teks.

NLP dengan BERT

• Selesaikan tugas GLUE menggunakan BERT di TPU : Pelajari cara menyempurnakan BERT untuk tugas dari tolok ukur GLUE .
• Menyempurnakan model BERT : Menyempurnakan model BERT menggunakan TensorFlow Model Garden .
• Pembelajaran Bahasa Mendalam yang Sadar Ketidakpastian dengan BERT-SNGP : Terapkan SNGP ke tugas pemahaman bahasa alami (NLU). Membangun encoder BERT, Anda akan meningkatkan kemampuan model NLU untuk mendeteksi kueri di luar cakupan.

Penyematan

• Penyematan kata : Latih penyematan kata Anda sendiri menggunakan model Keras sederhana untuk tugas klasifikasi sentimen, lalu visualisasikan menggunakan Proyektor Penyematan .
• Warm-start embedding layer matrix : Pelajari cara pelatihan "warm-start" untuk model klasifikasi sentimen teks.
• word2vec : Latih model word2vec pada kumpulan data kecil dan visualisasikan embeddings yang dilatih di Embedding Projector .