Кластеризация веса

_{Поддерживается Arm ML Tooling}

В этом документе представлен обзор весовой кластеризации, который поможет вам определить, насколько она соответствует вашему варианту использования.

• Чтобы погрузиться прямо в пример от начала до конца, см. Пример кластеризации веса .
• Чтобы быстро найти API-интерфейсы, необходимые для вашего варианта использования, см. Подробное руководство по весовой кластеризации .

Обзор

Кластеризация или разделение веса уменьшает количество уникальных значений веса в модели, что дает преимущества для развертывания. Сначала он группирует веса каждого слоя в N кластеров, а затем разделяет значение центроида кластера для всех весов, принадлежащих кластеру.

Этот метод приносит улучшения за счет сжатия модели. Поддержка будущей платформы может разблокировать улучшения в объеме памяти, которые могут иметь решающее значение для развертывания моделей глубокого обучения во встроенных системах с ограниченными ресурсами.

Мы экспериментировали с кластеризацией задач, связанных со зрением и речью. Мы наблюдали 5-кратное улучшение сжатия модели с минимальной потерей точности, о чем свидетельствуют результаты, представленные ниже.

Обратите внимание, что кластеризация обеспечивает меньшие преимущества для сверточных и плотных слоев, которые предшествуют слою пакетной нормализации, а также в сочетании с посттренировочным квантованием по каждой оси.

Матрица совместимости API

Пользователи могут применять кластеризацию с помощью следующих API:

• tf.keras модели: tf.keras только с последовательными и функциональными моделями
• Версии TensorFlow: TF 1.x для версий 1.14+ и 2.x.
  • tf.compat.v1 с пакетом TF 2.X и tf.compat.v2 с пакетом TF 1.X не поддерживаются.
• Режим выполнения TensorFlow: как график, так и нетерпеливый

Полученные результаты

Классификация изображений

Модели были обучены и протестированы на ImageNet.

Определение ключевых слов

Модель обучалась и тестировалась на SpeechCommands v0.02.

1. Сериализуйте модель Keras в файл .h5
2. Преобразуйте файл .h5 в .tflite с помощью TFLiteConverter.from_keras_model_file()
3. Сжать файл .tflite в zip-архив

Примеры

Помимо примера кластеризации веса в Keras , посмотрите следующие примеры:

• Сгруппируйте веса модели CNN, обученной на наборе данных классификации рукописных цифр MNIST: код

Реализация веса кластеризация на основе глубокого сжатия: Compressing Deep Neural Networks С Обрезка, обученные квантование и кодирование Хаффмана бумаги . См. Главу 3, озаглавленную « Обученное квантование и распределение веса» .