このページは Cloud Translation API によって翻訳されました。
Switch to English

ニューラル構造化学習フレームワーク

ニューラル構造化学習(NSL)は、特徴入力とともに構造化信号(利用可能な場合)を活用することにより、ディープニューラルネットワークのトレーニングに重点を置いています。ブイらによって紹介されたように。 (WSDM'18) 、これらの構造化信号は、ニューラルネットワークのトレーニングを正規化するために使用され、モデルに正確な予測を学習させ(教師あり損失を最小化することにより)、同時に入力構造の類似性を維持します(隣接損失を最小化することにより) 、下の図を参照してください)。この手法は一般的であり、任意のニューラルアーキテクチャ(フィードフォワードNN、畳み込みNN、リカレントNNなど)に適用できます。

NSLコンセプト

一般化された隣接損失方程式は柔軟であり、上に示したもの以外の形式を持つことができることに注意してください。たとえば、選択することもできます

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

グラウンドトゥルース間の距離を計算するネイバーロスになります

$$y_i$$

と隣人からの予測

$$g_\theta(x_j)$$

。これは、敵対的学習で一般的に使用されます(Goodfellow et al。、ICLR'15) 。したがって、NSLは、近隣がグラフによって明示的に表されている場合はニューラルグラフ学習に一般化し、近隣が敵対的摂動によって暗黙的に誘導されている場合は敵対学習に一般化します。

ニューラル構造化学習の全体的なワークフローを以下に示します。黒い矢印は従来のトレーニングワークフローを表し、赤い矢印は構造化された信号を活用するためにNSLによって導入された新しいワークフローを表します。まず、トレーニングサンプルは、構造化された信号を含むように拡張されます。構造化された信号が明示的に提供されていない場合、それらは構築または誘導されます(後者は敵対的学習に適用されます)。次に、拡張されたトレーニングサンプル(元のサンプルとそれに対応する隣接サンプルの両方を含む)がニューラルネットワークに送られ、埋め込みが計算されます。サンプルの埋め込みとその隣接の埋め込みの間の距離が計算され、隣接損失として使用されます。これは正則化項として扱われ、最終損失に追加されます。明示的なネイバーベースの正則化の場合、通常、サンプルの埋め込みとネイバーの埋め込みの間の距離としてネイバー損失を計算します。ただし、ニューラルネットワークの任意の層を使用して隣接損失を計算できます。一方、誘導された隣接ベースの正則化(敵対的)の場合、誘導された敵対的隣接の出力予測とグラウンドトゥルースラベルの間の距離として隣接損失を計算します。

NSLワークフロー

なぜNSLを使用するのですか?

NSLには次の利点があります。

  • より高い精度:サンプル間の構造化された信号は、特徴入力で常に利用できるとは限らない情報を提供できます。したがって、(構造化された信号と機能の両方を使用する)共同トレーニングアプローチは、ドキュメント分類やセマンティックインテント分類などの幅広いタスクで(機能のみを使用したトレーニングに依存する)多くの既存の方法よりも優れていることが示されています( Bui et al 。、WSDM'18Kipf et al。、ICLR'17 )。
  • 堅牢性:敵対的な例でトレーニングされたモデルは、モデルの予測または分類を誤解させるように設計された敵対的な摂動に対して堅牢であることが示されています( Goodfellow et al。、ICLR'15Miyato et al。、ICLR'16 )。トレーニングサンプルの数が少ない場合、敵対的な例を使用したトレーニングもモデルの精度の向上に役立ちます( Tsipras et al。、ICLR'19 )。
  • 必要なラベル付きデータが少ない:NSLにより、ニューラルネットワークはラベル付きデータとラベルなしデータの両方を利用できるようになり、学習パラダイムが教師あり学習に拡張されます。具体的には、NSLを使用すると、監視対象の設定と同様に、ラベル付きデータを使用してネットワークをトレーニングできます。同時に、ネットワークを駆動して、ラベル付きまたはラベルなしの「隣接サンプル」の同様の非表示表現を学習します。この手法は、ラベル付けされたデータの量が比較的少ない場合にモデルの精度を向上させる大きな可能性を示しています( Bui et al。、WSDM'18Miyato et al。、ICLR'16 )。

ステップバイステップのチュートリアル

ニューラル構造化学習の実践的な経験を得るために、構造化信号が明示的に与えられ、誘導され、または構築される可能性があるさまざまなシナリオをカバーする3つのチュートリアルがあります。