TensorFlow テキスト処理チュートリアルでは、一般的なテキストおよび自然言語処理 (NLP) の問題を解決するための段階的な手順が提供されます。
TensorFlow は、テキストおよび自然言語処理のための 2 つのソリューション、KerasNLP と TensorFlow Text を提供します。 KerasNLP は、最新の Transformer ベースのモデルと下位レベルのトークン化ユーティリティをすべて含む高レベルの NLP ライブラリです。これは、ほとんどの NLP ユースケースに推奨されるソリューションです。
下位レベルのテキスト処理ツールにアクセスする必要がある場合は、TensorFlow Text を使用できます。 TensorFlow Text は、生のテキスト文字列やドキュメントなどのテキスト形式での入力を操作するのに役立つ操作とライブラリのコレクションを提供します。
ケラスNLP
- KerasNLP の入門: 事前トレーニングされたモデルの使用から独自の Transformer をゼロから構築するまで、段階的な複雑さのレベルで感情分析を実行することで KerasNLP を学習します。
テキストの生成
- RNN を使用したテキスト生成: 文字ベースの RNN とシェイクスピアの著作のデータセットを使用してテキストを生成します。
- 注意を伴うニューラル機械翻訳: スペイン語から英語への翻訳用にシーケンスツーシーケンス (seq2seq) モデルをトレーニングします。
- Transformer と Keras を使用したニューラル機械翻訳: ポルトガル語を英語に翻訳するためのシーケンス間トランスフォーマー モデルを作成してトレーニングします。
- 視覚的な注意を伴う画像キャプション: アテンション レイヤーで構築された Transformer-decoder モデルを使用して画像キャプションを生成します。
テキストの分類
- BERT によるテキストの分類: BERT を微調整して、プレーンテキストの IMDb 映画レビューのデータセットに対して感情分析を実行します。
- RNN を使用したテキスト分類: RNN をトレーニングして、IMDb 映画レビューの感情分析を実行します。
- TF.Text メトリクス: TensorFlow Text を通じて利用できるメトリクスについて学びます。このライブラリには、テキスト生成モデルの自動評価に使用できる ROUGE-L などのテキスト類似性メトリクスの実装が含まれています。
BERT を使用した NLP
- TPU で BERT を使用して GLUE タスクを解決する: GLUE ベンチマークからのタスクに合わせて BERT を微調整する方法を学びます。
- BERT モデルの微調整: TensorFlow Model Gardenを使用して BERT モデルを微調整します。
- BERT-SNGP を使用した不確実性を認識した深層言語学習: SNGP を自然言語理解 (NLU) タスクに適用します。 BERT エンコーダーを基盤として構築すると、範囲外のクエリを検出する NLU モデルの機能が向上します。
埋め込み
- 単語の埋め込み: 感情分類タスク用の単純な Keras モデルを使用して独自の単語の埋め込みをトレーニングし、埋め込みプロジェクターを使用して視覚化します。
- 埋め込み層マトリックスのウォーム スタート: テキスト感情分類モデルのトレーニングを「ウォーム スタート」する方法を学びます。
- word2vec : 小さなデータセットで word2vec モデルをトレーニングし、トレーニングされた埋め込みを埋め込みプロジェクターで視覚化します。