Questa pagina è stata tradotta dall'API Cloud Translation.
Switch to English

pesi insignificanti Trim

Gestito da tensorflow modello di ottimizzazione

Questo documento fornisce una panoramica sul modello di potatura per aiutare a determinare come si adatta con il vostro caso d'uso.

Panoramica

peso magnitudo basato potatura gradualmente zeri su pesi modello durante il processo di formazione di raggiungere sparsity modello. modelli sparse sono più facili da comprimere, e possiamo ignorare gli zeri durante inferenza per miglioramenti latenza.

Questa tecnica porta miglioramenti tramite compressione modello. In futuro, supporto quadro di tale tecnica fornisce miglioramenti latenza. Abbiamo visto fino a 6x miglioramenti nella compressione modello con una minima perdita di precisione.

La tecnica è in corso di valutazione in varie applicazioni vocali, come il riconoscimento vocale e text-to-speech, ed è stato sperimentato su attraverso i vari modelli da vista e di traduzione.

Matrice di compatibilità API

Gli utenti possono applicare potatura con le seguenti API:

  • Edificio Modello: tf.keras con solo sequenziale e modelli funzionali
  • versioni tensorflow: 1.x TF per le versioni 1.14+ e 2.x.
    • tf.compat.v1 con un pacchetto TF 2.X e tf.compat.v2 con un pacchetto 1.X TF non sono supportati.
  • modalità di esecuzione tensorflow: sia grafico e ansioso
  • Formazione distribuita: tf.distribute solo con l'esecuzione grafico

E 'sulla nostra tabella di marcia per aggiungere il supporto nelle seguenti aree:

risultati

image Classificazione

Modello Non sparse Top-1 Precisione Precisione sparse sparsity
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71.04% 70.84% 50%

I modelli sono stati testati su IMAGEnet.

Traduzione

Modello Non sparse BLEU sparse BLEU sparsity
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-IT 29.47 29.50 80%
29.24 85%
28.81 90%

I modelli utilizzano WMT16 tedesco e inglese insieme di dati con le notizie-test2013 come l'insieme dev e news-test2015 come l'insieme di test.

Esempi

Oltre al Prune con Keras esercitazione, consultare i seguenti esempi:

  • Addestrare un modello CNN sul scritto a mano compito di classificazione cifre MNIST con potatura: il codice
  • Addestrare un LSTM sul sentimento compito di classificazione IMDB con potatura: il codice

Per lo sfondo, vedere Per prugna, o non potare: esplorare l'efficacia di potatura per la compressione modello [ carta ].