TensorFlow Textは、TensorFlow2.0ですぐに使用できるテキスト関連のクラスと操作のコレクションを提供します。ライブラリは、テキストベースのモデルで定期的に必要とされる前処理を実行でき、コアTensorFlowでは提供されないシーケンスモデリングに役立つ他の機能が含まれています。
テキストの前処理でこれらの操作を使用する利点は、TensorFlowグラフで実行されることです。トレーニングでのトークン化が推論でのトークン化と異なることや、前処理スクリプトの管理について心配する必要はありません。
TensorFlowテキストをインストールする
pipを使用してインストールする
pip installを使用してTFTextをインストールする場合は、実行しているTensorFlowのバージョンに注意してください。これは、対応するバージョンのTFTextを指定する必要があるためです。
pip install -U tensorflow-text==<version>
ソースからビルド
TensorFlow Textは、TensorFlowと同じ環境で構築する必要があります。したがって、TFテキストを手動でビルドする場合は、TensorFlowもビルドすることを強くお勧めします。
MacOSでビルドする場合は、coreutilsをインストールする必要があります。 Homebrewで行うのがおそらく最も簡単です。まず、ビルドTensorFlow源から。
TFテキストリポジトリのクローンを作成します。
git clone https://github.com/tensorflow/text.git
最後に、ビルドスクリプトを実行してpipパッケージを作成します。
./oss_scripts/run_build.sh