Совместная оптимизация

_{Поддерживается Arm ML Tooling}

В этом документе представлен обзор экспериментальных API-интерфейсов для объединения различных методов оптимизации моделей машинного обучения для развертывания.

Обзор

Совместная оптимизация — это всеобъемлющий процесс, включающий различные методы создания модели, которая при развертывании демонстрирует наилучший баланс целевых характеристик, таких как скорость логического вывода, размер модели и точность.

Идея совместной оптимизации состоит в том, чтобы опираться на отдельные методы, применяя их один за другим для достижения совокупного эффекта оптимизации. Возможны различные комбинации следующих оптимизаций:

• Обрезка веса
• Кластеризация веса

• Квантование

  • Квантование после обучения
  • Обучение квантованию (QAT)

Проблема, которая возникает при попытке связать эти методы вместе, заключается в том, что применение одного обычно уничтожает результаты предыдущего метода, портя общее преимущество одновременного применения всех их; например, кластеризация не сохраняет разреженность, введенную API обрезки. Чтобы решить эту проблему, мы вводим следующие экспериментальные методы совместной оптимизации:

• Кластеризация с сохранением разреженности
• Обучение квантованию с сохранением разреженности (PQAT)
• Обучение квантованию с сохранением кластера (CQAT)
• Обучение квантованию с сохранением разреженности и кластеров

Они предоставляют несколько путей развертывания, которые можно использовать для сжатия модели машинного обучения и использования преимуществ аппаратного ускорения во время логического вывода. На приведенной ниже диаграмме показаны несколько путей развертывания, которые можно исследовать в поисках модели с желаемыми характеристиками развертывания, где конечные узлы представляют собой модели, готовые к развертыванию, то есть они частично или полностью квантованы и имеют формат tflite. Зеленая заливка указывает на этапы, требующие переобучения/тонкой настройки, а пунктирная красная рамка выделяет этапы совместной оптимизации. Метод, используемый для получения модели в данном узле, указан в соответствующей метке.

Прямой путь развертывания только для квантования (после обучения или QAT) на рисунке выше не показан.

Идея состоит в том, чтобы достичь полностью оптимизированной модели на третьем уровне описанного выше дерева развертывания; однако любой из других уровней оптимизации может оказаться удовлетворительным и обеспечить требуемый компромисс между задержкой и точностью вывода, и в этом случае дальнейшая оптимизация не требуется. Рекомендуемый процесс обучения будет заключаться в итеративном прохождении уровней дерева развертывания, применимых к целевому сценарию развертывания, и проверке того, удовлетворяет ли модель требованиям к задержке вывода, и, если нет, использовать соответствующий метод совместной оптимизации для дальнейшего сжатия модели и повторения. пока модель не будет полностью оптимизирована (обрезана, кластеризована и квантована), если это необходимо.

На рисунке ниже показаны графики плотности ядра выборочного веса, проходящего через конвейер совместной оптимизации.

Результатом является квантованная модель развертывания с уменьшенным количеством уникальных значений, а также значительным количеством разреженных весов в зависимости от целевой разреженности, указанной во время обучения. Помимо существенных преимуществ сжатия моделей, использование этих разреженных кластеризованных моделей позволяет использовать специальную аппаратную поддержку для значительного сокращения задержки логического вывода.

Полученные результаты

Ниже приведены некоторые результаты точности и сжатия, полученные нами при экспериментировании с путями совместной оптимизации PQAT и CQAT.

Обучение квантованию с сохранением разреженности (PQAT)

Обучение квантованию с сохранением кластера (CQAT)

Результаты CQAT и PCQAT для моделей, сгруппированных по каналам

Приведенные ниже результаты получены с использованием метода кластеризации по каналам . Они иллюстрируют, что если сверточные слои модели сгруппированы по каналам, то точность модели выше. Если в вашей модели много сверточных слоев, мы рекомендуем кластеризовать их по каналам. Степень сжатия останется прежней, но точность модели будет выше. В наших экспериментах конвейер оптимизации модели «кластеризованный -> QAT с сохранением кластера -> квантование после обучения, int8».

Примеры

Сквозные примеры методов совместной оптимизации, описанные здесь, см. в блокнотах с примерами CQAT , PQAT , кластеризации с сохранением разреженности и PCQAT .