Ottimizzazione collaborativa

_{Gestito da Arm ML Tooling}

Questo documento fornisce una panoramica delle API sperimentali per combinare varie tecniche per ottimizzare i modelli di machine learning per la distribuzione.

Panoramica

L'ottimizzazione collaborativa è un processo globale che comprende varie tecniche per produrre un modello che, al momento della distribuzione, presenta il miglior equilibrio tra caratteristiche target come velocità di inferenza, dimensioni del modello e accuratezza.

L'idea delle ottimizzazioni collaborative è quella di basarsi su tecniche individuali applicandole una dopo l'altra per ottenere l'effetto di ottimizzazione accumulato. Sono possibili diverse combinazioni delle seguenti ottimizzazioni:

• Potatura ponderata
• Raggruppamento del peso

• Quantizzazione

  • Quantizzazione post-allenamento
  • Formazione consapevole sulla quantizzazione (QAT)

Il problema che sorge quando si tenta di concatenare queste tecniche insieme è che applicandone una in genere si distruggono i risultati della tecnica precedente, rovinando il vantaggio complessivo dell'applicazione simultanea di tutte; ad esempio, il clustering non preserva la scarsità introdotta dall'API di potatura. Per risolvere questo problema, introduciamo le seguenti tecniche sperimentali di ottimizzazione collaborativa:

• Cluster che preserva la sparsità
• Addestramento consapevole della quantizzazione con preservazione della scarsità (PQAT)
• Cluster che preserva la formazione consapevole della quantizzazione (CQAT)
• Formazione consapevole della quantizzazione che preserva la sparsità e i cluster

Questi forniscono diversi percorsi di distribuzione che potrebbero essere utilizzati per comprimere un modello di machine learning e sfruttare l'accelerazione hardware al momento dell'inferenza. Il diagramma seguente mostra diversi percorsi di distribuzione che possono essere esplorati alla ricerca del modello con le caratteristiche di distribuzione desiderate, in cui i nodi foglia sono modelli pronti per la distribuzione, ovvero sono parzialmente o completamente quantizzati e in formato tflite. Il riempimento verde indica i passaggi in cui è necessaria una riqualificazione/ottimizzazione e un bordo rosso tratteggiato evidenzia i passaggi di ottimizzazione collaborativa. La tecnica utilizzata per ottenere un modello in corrispondenza di un dato nodo è indicata nell'etichetta corrispondente.

Il percorso di distribuzione diretto, di sola quantizzazione (post-addestramento o QAT) è omesso nella figura precedente.

L'idea è di raggiungere il modello completamente ottimizzato al terzo livello dell'albero di distribuzione di cui sopra; tuttavia, uno qualsiasi degli altri livelli di ottimizzazione potrebbe rivelarsi soddisfacente e raggiungere il compromesso richiesto tra latenza di inferenza e precisione, nel qual caso non è necessaria alcuna ulteriore ottimizzazione. Il processo di formazione consigliato sarebbe quello di passare in modo iterativo attraverso i livelli dell'albero di distribuzione applicabile allo scenario di distribuzione di destinazione e vedere se il modello soddisfa i requisiti di latenza di inferenza e, in caso contrario, utilizzare la corrispondente tecnica di ottimizzazione collaborativa per comprimere ulteriormente il modello e ripetere fino a quando il modello non sarà completamente ottimizzato (potato, raggruppato e quantizzato), se necessario.

La figura seguente mostra i grafici della densità del peso del campione del kernel che passa attraverso la pipeline di ottimizzazione collaborativa.

Il risultato è un modello di distribuzione quantizzato con un numero ridotto di valori univoci nonché un numero significativo di pesi sparsi, a seconda della scarsità target specificata al momento dell'addestramento. Oltre ai vantaggi significativi della compressione del modello, il supporto hardware specifico può trarre vantaggio da questi modelli sparsi e raggruppati per ridurre significativamente la latenza di inferenza.

Risultati

Di seguito sono riportati alcuni risultati di precisione e compressione ottenuti durante la sperimentazione dei percorsi di ottimizzazione collaborativa PQAT e CQAT.

Addestramento consapevole della quantizzazione con preservazione della scarsità (PQAT)

Formazione consapevole sulla quantizzazione con preservazione del cluster (CQAT)

Risultati CQAT e PCQAT per i modelli raggruppati per canale

I risultati sottostanti sono ottenuti con la tecnica del clustering per canale . Essi illustrano che se gli strati convoluzionali del modello sono raggruppati per canale, la precisione del modello è maggiore. Se il tuo modello ha molti livelli convoluzionali, ti consigliamo di raggruppare per canale. Il rapporto di compressione rimane lo stesso, ma la precisione del modello sarà maggiore. Nei nostri esperimenti la pipeline di ottimizzazione del modello è "clustered -> cluster che preserva QAT -> quantizzazione post-addestramento, int8".

Esempi

Per esempi end-to-end delle tecniche di ottimizzazione collaborativa qui descritte, fare riferimento ai notebook di esempio CQAT , PQAT , sparsity-preserving clustering e PCQAT .