このページは Cloud Translation API によって翻訳されました。
Switch to English

ニューラル構造化学習フレームワーク

ニューラル構造化学習(NSL)は、機能入力とともに構造化信号(利用可能な場合)を活用することにより、ディープニューラルネットワークのトレーニングに焦点を当てています。 ブイらによって紹介されたように。 (WSDM'18) 、これらの構造化信号を使用してニューラルネットワークのトレーニングを正規化し、モデルに強制的に(監視損失を最小化することにより)正確な予測を学習させ、同時に入力構造の類似性を維持します(隣接損失を最小化することにより) 、下の図を参照してください)。この手法は一般的であり、任意のニューラルアーキテクチャ(フィードフォワードNN、たたみ込みNN、再帰NNなど)に適用できます。

NSLコンセプト

一般化された近傍損失方程式は柔軟であり、上に示したもの以外の形式をとることができることに注意してください。たとえば、

$$ \ sum_ {x_j \ in \ mathcal {N}(x_i)} \ mathcal {E}(y_i、g_ \ theta(x_j))$$

グラウンドトゥルース間の距離を計算する隣接損失

$$ y_i $$

そして隣人からの予測

$$ g_ \ theta(x_j)$$

。これは一般に敵対的学習で使用されます(Goodfellow et al。、ICLR'15) 。したがって、NSLは、近傍がグラフによって明示的に表されている場合はニューラルグラフ学習に 、近傍が摂動によって暗黙的に誘導されている場合は逆学習に一般化します。

ニューラル構造化学習の全体的なワークフローを以下に示します。黒い矢印は従来のトレーニングワークフローを表し、赤い矢印は構造化された信号を活用するためにNSLによって導入された新しいワークフローを表します。まず、構造化された信号を含むようにトレーニングサンプルが拡張されます。構造化信号が明示的に提供されていない場合、それらは構築または誘導できます(後者は敵対的学習に適用されます)。次に、拡張されたトレーニングサンプル(元のサンプルとそれらに対応する近傍の両方を含む)が、それらの埋め込みを計算するためにニューラルネットワークに送られます。サンプルの埋め込みとその近傍の埋め込みの間の距離が計算され、近傍損失として使用されます。これは正則化項として扱われ、最終的な損失に追加されます。明示的な近傍ベースの正則化では、通常、近傍損失をサンプルの埋め込みと近傍の埋め込みの間の距離として計算します。ただし、ニューラルネットワークの任意の層を使用して、近傍損失を計算できます。一方、誘導隣接ベースの正則化(敵対的)の場合、隣接損失は、誘導敵隣接の出力予測とグラウンドトゥルースラベルの間の距離として計算されます。

NSLワークフロー

NSLを使用する理由

NSLには次の利点があります。

  • より高い精度 :サンプル間の構造化信号は、特徴入力で常に利用できるとは限らない情報を提供できます。したがって、(構造化された信号と機能の両方を使用した)共同トレーニングアプローチは、ドキュメント分類やセマンティックインテント分類( Bui et al 。、WSDM'18Kipf et al。、ICLR'17 )。
  • 堅牢性 :敵対的な例でトレーニングされたモデルは、モデルの予測または分類を誤解させるために設計された敵対的な摂動に対して堅牢であることが示されています( Goodfellow et al。、ICLR'15Miyato et al。、ICLR'16 )。トレーニングサンプルの数が少ない場合、敵対的な例を使用したトレーニングもモデルの精度の向上に役立ちます( Tsipras et al。、ICLR'19 )。
  • 必要なラベル付きデータが少ない :NSLを使用すると、ニューラルネットワークでラベル付きデータとラベルなしデータの両方を利用できるようになり、学習パラダイムが教師あり学習に拡張されます。具体的には、NSLを使用すると、監視付き設定のようにラベル付きデータを使用してネットワークをトレーニングできると同時に、ネットワークを駆動して、ラベルがある場合とない場合がある「隣接サンプル」の同様の非表示表現を学習できます。この手法は、ラベル付きデータの量が比較的少ない場合にモデルの精度を向上させる大きな可能性を示しています( Bui et al。、WSDM'18Miyato et al。、ICLR'16 )。

ステップバイステップチュートリアル

ニューラル構造化学習の実践的な経験を得るために、構造化信号が明示的に与えられ、誘導され、構築されるさまざまなシナリオをカバーする3つのチュートリアルがあります。