Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Trim unbedeutend Gewichte

Verwaltet von TensorFlow Modelloptimierung

Dieses Dokument gibt einen Überblick über Modell Beschneiden Sie ermitteln können, wie Sie es mit Ihren Anwendungsfall passt.

Überblick

Magnitude-basiertes Gewicht allmählich Nullen aus Modell Gewichten während des Trainingsprozesses Beschneiden Modell sparsity zu erreichen. Sparse-Modelle sind leichter zu komprimieren, und wir können die Nullen während Inferenz für Latenz Verbesserungen überspringen.

Diese Technik bringt Verbesserungen durch Modell Kompression. In der Zukunft für diese Technik wird, Rahmen Unterstützung Latenz Verbesserungen bieten. Wir haben in Modell Kompression mit minimalem Verlust an Genauigkeit zu 6x Verbesserungen gesehen werden.

Die Technik wird in verschiedenen Sprachanwendungen, wie Spracherkennung und Text-to-Speech ausgewertet und wurde über verschiedene Vision und Übersetzungsmodelle experimentiert.

API-Kompatibilitätsmatrix

Benutzer können gelten die folgenden APIs Beschneidung:

  • Modellbau: tf.keras mit nur Sequential und Funktionsmodelle
  • TensorFlow Versionen: TF 1.x für Versionen 1.14+ und 2.x.
    • tf.compat.v1 mit TF 2.X Paket und tf.compat.v2 mit TF 1.X Paket wird nicht unterstützt.
  • TensorFlow Ausführungsmodus: beide Graphen und eifrig
  • Verteilte Ausbildung: tf.distribute mit nur Graph Ausführung

Es ist auf unserer Roadmap Unterstützung in den folgenden Bereichen hinzuzufügen:

Ergebnisse

Bildklassifizierung

Modell Nicht-Sparse-Top-1 Genauigkeit sparse Genauigkeit Sparsity
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71.04% 70.84% 50%

Die Modelle wurden auf IMAGEnet getestet.

Übersetzung

Modell Nicht spärlich BLEU sparse BLEU Sparsity
GNMT EN-DE 26,77 26,86 80%
26,52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29,24 85%
28,81 90%

Die Modelle verwenden WMT16 Deutsch und Englisch Datensatz mit Nachrichten-test2013 als Entwickler-Set und Nachrichten-test2015 als Test-Set.

Beispiele

Neben dem Prune mit Keras Tutorial finden Sie in den folgenden Beispielen:

  • Trainieren ein CNN - Modells auf der MNIST handgeschriebenen Zeichenklassifizierung Aufgabe mit Rebschnitt: Code
  • Zug eine LSTM auf der IMDB Stimmung Klassieraufgabe mit Rebschnitt: Code

Für Hintergrundinformationen finden Sie unter Pflaume, oder nicht zu beschneiden: die Wirksamkeit der Beschneidung für das Modell Kompression zu erforschen [ Papier ].