Otimização Colaborativa

_{Mantido por ferramentas Arm ML}

Este documento fornece uma visão geral de APIs experimentais para combinar várias técnicas para otimizar modelos de aprendizado de máquina para implantação.

Visão geral

A otimização colaborativa é um processo abrangente que abrange várias técnicas para produzir um modelo que, na implantação, apresente o melhor equilíbrio das características alvo, como velocidade de inferência, tamanho do modelo e precisão.

A ideia das otimizações colaborativas é desenvolver técnicas individuais, aplicando-as uma após a outra para alcançar o efeito de otimização acumulado. Várias combinações das seguintes otimizações são possíveis:

• Poda de peso
• Agrupamento de peso

• Quantização

  • Quantização pós-treinamento
  • Treinamento consciente de quantização (QAT)

O problema que surge ao tentar encadear essas técnicas é que a aplicação de uma normalmente destrói os resultados da técnica anterior, prejudicando o benefício geral da aplicação simultânea de todas elas; por exemplo, o clustering não preserva a dispersão introduzida pela API de remoção. Para resolver este problema, apresentamos as seguintes técnicas experimentais de otimização colaborativa:

• Clustering preservando esparsidade
• Treinamento consciente de quantização com preservação de dispersão (PQAT)
• Treinamento consciente de quantização com preservação de cluster (CQAT)
• Treinamento consciente de quantização com preservação de esparsidade e cluster

Eles fornecem vários caminhos de implantação que podem ser usados ​​para compactar um modelo de aprendizado de máquina e aproveitar a aceleração de hardware no momento da inferência. O diagrama abaixo demonstra diversos caminhos de implantação que podem ser explorados na busca pelo modelo com características de implantação desejadas, onde os nós folha são modelos prontos para implantação, ou seja, são parcial ou totalmente quantizados e em formato tflite. O preenchimento verde indica as etapas onde o retreinamento/ajuste é necessário e uma borda vermelha tracejada destaca as etapas de otimização colaborativa. A técnica utilizada para obter um modelo em um determinado nó está indicada na etiqueta correspondente.

O caminho de implantação direto somente de quantização (pós-treinamento ou QAT) é omitido na figura acima.

A ideia é chegar ao modelo totalmente otimizado no terceiro nível da árvore de implantação acima; no entanto, qualquer um dos outros níveis de otimização pode ser satisfatório e alcançar o equilíbrio necessário entre latência/precisão de inferência, caso em que nenhuma otimização adicional é necessária. O processo de treinamento recomendado seria percorrer iterativamente os níveis da árvore de implantação aplicáveis ​​ao cenário de implantação alvo e verificar se o modelo atende aos requisitos de latência de inferência e, caso contrário, usar a técnica de otimização colaborativa correspondente para compactar ainda mais o modelo e repetir até que o modelo esteja totalmente otimizado (removido, agrupado e quantizado), se necessário.

A figura abaixo mostra os gráficos de densidade do kernel de peso de amostra passando pelo pipeline de otimização colaborativa.

O resultado é um modelo de implantação quantizado com um número reduzido de valores únicos, bem como um número significativo de pesos esparsos, dependendo da dispersão alvo especificada no momento do treinamento. Além das vantagens significativas da compactação de modelos, o suporte de hardware específico pode aproveitar esses modelos esparsos e agrupados para reduzir significativamente a latência de inferência.

Resultados

Abaixo estão alguns resultados de precisão e compactação que obtivemos ao experimentar os caminhos de otimização colaborativa PQAT e CQAT.

Treinamento consciente de quantização com preservação de dispersão (PQAT)

Treinamento consciente de quantização com preservação de cluster (CQAT)

Resultados CQAT e PCQAT para modelos agrupados por canal

Os resultados abaixo são obtidos com a técnica de agrupamento por canal . Eles ilustram que se as camadas convolucionais do modelo forem agrupadas por canal, a precisão do modelo será maior. Se o seu modelo tiver muitas camadas convolucionais, recomendamos agrupar por canal. A taxa de compressão permanece a mesma, mas a precisão do modelo será maior. O pipeline de otimização do modelo é 'clusterizado -> QAT preservando cluster -> quantização pós-treinamento, int8' em nossos experimentos.

Exemplos

Para obter exemplos completos das técnicas de otimização colaborativa descritas aqui, consulte os notebooks de exemplo CQAT , PQAT , clustering com preservação de dispersão e PCQAT .