Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Wykończenia nieznaczące ciężary

Utrzymywany przez TensorFlow model optymalizacyjny

Niniejszy dokument zawiera przegląd modelu przycinanie które pomogą Ci określić, jak to pasuje do Twojego przypadku użycia.

Przegląd

Masa wielkość oparte przycinanie stopniowo zera modelowych wag podczas procesu szkolenia w celu uzyskania modelu sparsity. Nieliczne modele są łatwiejsze do kompresji i możemy pominąć zera podczas wnioskowania o opóźnieniach ulepszeń.

Technika ta przynosi poprawę poprzez kompresję modelu. W przyszłości wsparcie ramy dla tej techniki zapewni latencji ulepszeń. Widzieliśmy do 6x ulepszeń w kompresji model z minimalną utratą dokładności.

Technika ta jest oceniany w różnych aplikacjach mowy, takich jak rozpoznawanie mowy i zamiany tekstu na mowę i został eksperymentował on w różnych modelach wizyjnych i tłumaczeń.

API Kompatybilność Matrix

Użytkownicy mogą zastosować przycinanie z następujących interfejsów API:

  • Budynek Model: tf.keras z tylko sekwencyjną i modeli funkcjonalnych
  • TensorFlow wersje: TF 1.x dla wersji 1.14+ i 2.x.
    • tf.compat.v1 z pakietem TF 2.x oraz tf.compat.v2 z pakietem 1.x TF nie są obsługiwane.
  • Tryb realizacji TensorFlow: zarówno wykres i chętnie
  • Ukazuje się szkolenie: tf.distribute tylko wykonanie wykresu

Jest na naszej mapy drogowej, aby dodać wsparcie w następujących obszarach:

wyniki

Klasyfikacja obraz

Model Non-rzadki Top-1 Dokładność rzadki Dokładność Sparsity
InceptionV3 78,1% 78,0% 50%
76,1% 75%
74,6% 87,5%
MobilenetV1 224 71,04% 70,84% 50%

Modele były testowane na IMAGEnet.

Tłumaczenie

Model Non-rzadki BLEU rzadki BLEU Sparsity
GNMT PL-DE 26,77 26,86 80%
26,52 85%
26,19 90%
GNMT DE-PL 29,47 29,50 80%
29,24 85%
28,81 90%

Modele używać WMT16 niemieckim i angielskim zestawu danych z wiadomości-test2013 jako zestawu dev i aktualności-test2015 jako zestawu testowego.

Przykłady

Oprócz suszonych śliwek z Keras samouczku, zobacz następujące przykłady:

  • Trenować model CNN na odręcznym cyfrowym zadania klasyfikacji MNIST z przycinanie: kod
  • Pociąg LSTM na IMDB nastrojów zadania klasyfikacji z przycinanie: kod

Na tle patrz przycinać, czy nie śliw: badanie skuteczności przycinanie kompresji model [ papier ].