転移学習とは?

高度な深層学習モデルには大量のパラメータ(重み)があり、それらをなにもないところから訓練するには大量の計算資源のデータが必要です。転移学習は関連するタスクについてすでに学習済みのモデルの一部を取り出して、新しいモデルの中で再利用することでそのような資源の大部分を省略するテクニックです。

例えば、このセクションの次のチュートリアルではすでに画像の中の数千種類の物体を認識できるように訓練されたモデルを利用して、独自の画像認識器を構築する方法を紹介します。学習済みモデルの既存の知識を適用すると、元のモデルで必要としたものよりもずっと少ない訓練データで独自の画像クラスを検出できます。

この手法はブラウザやモバイルデバイスのような資源が限られた環境でモデルをカスタマイズする際だけでなく、新しいモデルを高速に開発する際にも有効です。

転移学習を行う際、元のモデルの重みを調節しないこともよくあります。そのかわりに最終レイヤを取り除き、切り詰められたモデルの出力で新しい(通常は非常に浅い)モデルを訓練します。このセクションのチュートリアルで、このテクニックを紹介します。