Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Das neuronale strukturierte Lern-Framework

Neuronales strukturiertes Lernen (NSL) konzentriert sich auf das Training tiefer neuronaler Netze, indem strukturierte Signale (sofern verfügbar) zusammen mit Funktionseingaben genutzt werden. Wie von Bui et al. (WSDM'18) werden diese strukturierten Signale verwendet, um das Training eines neuronalen Netzwerks zu regulieren, wodurch das Modell gezwungen wird, genaue Vorhersagen zu lernen (durch Minimieren des überwachten Verlusts), während gleichzeitig die strukturelle Ähnlichkeit der Eingabe beibehalten wird (durch Minimieren des Nachbarverlusts) siehe Abbildung unten). Diese Technik ist generisch und kann auf beliebige neuronale Architekturen (wie Feed-Forward-NNs, Convolutional-NNs und Recurrent-NNs) angewendet werden.

NSL-Konzept

Es ist zu beachten, dass die verallgemeinerte Nachbarverlustgleichung flexibel ist und andere Formen als die oben dargestellte haben kann. Zum Beispiel können wir auch auswählen

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

der Nachbarverlust zu sein, der den Abstand zwischen der Grundwahrheit berechnet

$$y_i$$

und die Vorhersage vom Nachbarn

$$g_\theta(x_j)$$

. Dies wird häufig beim kontradiktorischen Lernen verwendet (Goodfellow et al., ICLR'15) . Daher verallgemeinert sich NSL auf das Lernen neuronaler Graphen, wenn Nachbarn explizit durch einen Graphen dargestellt werden, und auf das kontroverse Lernen, wenn Nachbarn implizit durch konträre Störungen induziert werden.

Der gesamte Workflow für neuronales strukturiertes Lernen ist unten dargestellt. Schwarze Pfeile repräsentieren den herkömmlichen Trainingsworkflow und rote Pfeile repräsentieren den neuen Workflow, wie er von NSL eingeführt wurde, um strukturierte Signale zu nutzen. Zunächst werden die Trainingsmuster um strukturierte Signale erweitert. Wenn strukturierte Signale nicht explizit bereitgestellt werden, können sie entweder konstruiert oder induziert werden (letzteres gilt für kontroverses Lernen). Als nächstes werden die erweiterten Trainingsmuster (einschließlich der Originalmuster und ihrer entsprechenden Nachbarn) dem neuronalen Netzwerk zur Berechnung ihrer Einbettungen zugeführt. Der Abstand zwischen der Einbettung einer Probe und der Einbettung ihres Nachbarn wird berechnet und als Nachbarverlust verwendet, der als Regularisierungsterm behandelt und zum endgültigen Verlust addiert wird. Für eine explizite nachbarschaftsbasierte Regularisierung berechnen wir normalerweise den Nachbarverlust als den Abstand zwischen der Einbettung der Stichprobe und der Einbettung des Nachbarn. Es kann jedoch jede Schicht des neuronalen Netzwerks verwendet werden, um den Nachbarverlust zu berechnen. Andererseits berechnen wir für eine induzierte nachbarschaftsbasierte Regularisierung (kontrovers) den Nachbarverlust als den Abstand zwischen der Ausgangsvorhersage des induzierten kontradiktorischen Nachbarn und der Bodenwahrheitsbezeichnung.

NSL-Workflow

Warum NSL verwenden?

NSL bringt folgende Vorteile:

  • Höhere Genauigkeit : Die strukturierten Signale zwischen den Abtastwerten können Informationen liefern, die in Merkmalseingaben nicht immer verfügbar sind. Daher hat sich gezeigt, dass der gemeinsame Trainingsansatz (sowohl mit strukturierten Signalen als auch mit Merkmalen) viele bestehende Methoden (die nur auf dem Training mit Merkmalen beruhen) in einer Vielzahl von Aufgaben übertrifft, wie z. B. die Klassifizierung von Dokumenten und die Klassifizierung von semantischen Absichten ( Bui et al ., WSDM'18 & Kipf et al., ICLR'17 ).
  • Robustheit : Modelle, die mit konträren Beispielen trainiert wurden, haben sich als robust gegen kontroverse Störungen erwiesen, die dazu dienen, die Vorhersage oder Klassifizierung eines Modells irrezuführen ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Wenn die Anzahl der Trainingsmuster gering ist, hilft das Training mit gegnerischen Beispielen auch, die Modellgenauigkeit zu verbessern ( Tsipras et al., ICLR'19 ).
  • Weniger beschriftete Daten erforderlich : Mit NSL können neuronale Netze sowohl beschriftete als auch unbeschriftete Daten nutzen, wodurch das Lernparadigma auf halbüberwachtes Lernen ausgedehnt wird . Insbesondere ermöglicht NSL dem Netzwerk, unter Verwendung von beschrifteten Daten wie in der überwachten Einstellung zu trainieren, und treibt gleichzeitig das Netzwerk an, ähnliche versteckte Darstellungen für die "benachbarten Proben" zu lernen, die möglicherweise Beschriftungen haben oder nicht. Diese Technik hat sich als vielversprechend für die Verbesserung der Modellgenauigkeit erwiesen, wenn die Menge der markierten Daten relativ gering ist ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

Schritt-für-Schritt-Anleitungen

Um praktische Erfahrungen mit dem neuronalen strukturierten Lernen zu sammeln, haben wir drei Tutorials, die verschiedene Szenarien abdecken, in denen strukturierte Signale explizit gegeben, induziert oder konstruiert werden können: