Apprendimento strutturato neurale: formazione con segnali strutturati

Neural Structured Learning (NSL) è un nuovo paradigma di apprendimento per addestrare le reti neurali sfruttando segnali strutturati oltre agli input di funzionalità. La struttura può essere esplicita come rappresentata da un grafico o implicita come indotta da perturbazioni antagoniste.
I segnali strutturati sono comunemente usati per rappresentare relazioni o somiglianze tra campioni che possono essere etichettati o non etichettati. Pertanto, lo sfruttamento di questi segnali durante l'addestramento della rete neurale sfrutta i dati etichettati e non etichettati, che possono migliorare l'accuratezza del modello, in particolare quando la quantità di dati etichettati è relativamente piccola . Inoltre, i modelli addestrati con campioni generati dall'aggiunta di perturbazioni antagoniste hanno dimostrato di essere robusti contro gli attacchi dannosi , progettati per fuorviare la previsione o la classificazione di un modello.
NSL generalizza all'apprendimento del grafo neurale e all'apprendimento antagonistico . Il framework NSL in TensorFlow fornisce le seguenti API e strumenti di facile utilizzo per consentire agli sviluppatori di addestrare modelli con segnali strutturati:
- API di Keras per abilitare l'addestramento con grafici (struttura esplicita) e perturbazioni contraddittorie (struttura implicita).
- Operazioni e funzioni TF per abilitare l'addestramento con struttura quando si utilizzano API TensorFlow di livello inferiore
- Strumenti per costruire grafici e costruire input grafici per la formazione
L'incorporazione di segnali strutturati viene eseguita solo durante l'allenamento. Pertanto, le prestazioni del flusso di lavoro di pubblicazione / inferenza rimangono invariate. Maggiori informazioni sull'apprendimento strutturato neurale possono essere trovate nella nostra descrizione del framework . Per iniziare, consulta la nostra guida all'installazione e per un'introduzione pratica a NSL, dai un'occhiata ai nostri tutorial.
import tensorflow as tf import neural_structured_learning as nsl # Prepare data. (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 # Create a base model -- sequential, functional, or subclass. model = tf.keras.Sequential([ tf.keras.Input((28, 28), name='feature'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation=tf.nn.relu), tf.keras.layers.Dense(10, activation=tf.nn.softmax) ]) # Wrap the model with adversarial regularization. adv_config = nsl.configs.make_adv_reg_config(multiplier=0.2, adv_step_size=0.05) adv_model = nsl.keras.AdversarialRegularization(model, adv_config=adv_config) # Compile, train, and evaluate. adv_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) adv_model.fit({'feature': x_train, 'label': y_train}, batch_size=32, epochs=5) adv_model.evaluate({'feature': x_test, 'label': y_test})