이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

양자화 인식 교육

TensorFlow 모델 최적화에 의해 관리

훈련 후 양자화 및 양자화 인식 교육 : 양자화의 두 가지 형태가있다. 시작 후 교육 양자화 양자화 인식 교육 모델의 정확성을 위해 종종 더 나은하지만 그것은 사용하기 쉽게하기 때문이다.

이 페이지는 사용 사례 함께 사용되는 방식을 결정하는 데 도움을 양자화 인식 훈련에 대한 개요를 제공합니다.

개요

양자화 인식 훈련은 다운 스트림 도구가 실제로 양자화 모델을 생산하기 위해 사용하는 모델을 생성, 추론 시간 양자화를 에뮬레이트합니다. 양자화 된 모델은 배포 중에 혜택을 선도, 낮은 정밀도 (대신 32 비트 부동 소수점의 예를 들어 8 비트)를 사용합니다.

양자화 배포

양자화 모델 압축 및 대기 시간 감소를 통해 개선 사항을 제공합니다. 테스트 백엔드에서 CPU 대기 시간이 4 배 향상 - API를 기본적으로 4 배에 의해 모델의 크기 정신과 의사와 함께 우리는 일반적으로 1.5 사이를 참조하십시오. 결국, 지연 시간 개선 등으로 호환 기계 학습 가속기에 볼 수 있습니다 EdgeTPU 및 NNAPI.

이 기술은 음성, 비전, 텍스트의 생산에 사용하고, 사용 사례를 번역한다. 코드는 현재 지원하는 이 모델의 일부를 .

양자화 및 관련 하드웨어 실험

사용자는 양자화 매개 변수 (비트의 예를 들어 번호)와 어느 정도에, 기본 알고리즘을 구성 할 수 있습니다. API를 기본값에서 이러한 변화와 함께, 더 배포 경로가 지원되지 않습니다.

이 구성에 대한 API를 특정는 이전 버전과의 호환성을 실험하지 될 수 있습니다.

API 호환성

사용자는 다음 API를 사용하여 양자화를 적용 할 수 있습니다 :

  • 모델 건물 : tf.keras 순차 및 기능 모델 만와.
  • TensorFlow 버전 : TF-야간을위한 TF 2.x를.
    • tf.compat.v1 TF의 2.X 패키지는 지원되지 않습니다.
  • TensorFlow 실행 모드 : 열망 실행

그것은 다음과 같은 분야에서 지원을 추가 할 우리의 로드맵에 있습니다 :

  • 모델 건물 : 서브 클래스 모델은 더 지원을 제한하는 방법을 명확히
  • 분산 교육 : tf.distribute

일반 지원 매트릭스

지원은 다음과 같은 분야에서 사용할 수 있습니다 :

  • 모델 적용 : 사용하여 모델 의 허용 된 층을 , 그것은 Conv2D 및 DepthwiseConv2D 층을 다음과 BatchNormalization, 제한된 경우에, Concat .
  • 하드웨어 가속 : 우리의 API 기본적으로 다른 사람의 사이에, EdgeTPU, NNAPI 및 TFLite 백엔드에 가속와 호환됩니다. 로드맵에주의를 참조하십시오.
  • 양자화 배포 : 길쌈 층이 아닌 당 텐서 양자화 만 당 축 양자화는 현재 지원됩니다.

그것은 다음과 같은 분야에서 지원을 추가 할 우리의 로드맵에 있습니다 :

  • 모델 적용 : 확장은 RNN / LSTMs 및 일반 CONCAT 지원을 포함합니다.
  • 하드웨어 가속 : 전체 정수 모델을 생산할 수있는 TFLite 변환을 보장합니다. 참조 이 문제에 대한 자세한 내용입니다.
  • 양자화 사용 사례와 실험 :
    • 스팬 Keras 층이 양자화 알고리즘을 실험 또는 트레이닝 단계를 필요로한다.
    • API를 안정화.

결과

도구를 사용하여 이미지 분류

모델 비 양자화 상위 1 정확도 8 비트 양자화 정확도
MobilenetV1 (224) 71.03 % 71.06 %
Resnet V1 50 76.3 % 76.1 %
MobilenetV2 (224) 70.77 % 70.01 %

모델은 Imagenet 테스트 및 TensorFlow 및 TFLite 모두에서 평가 하였다.

기술에 대한 이미지 분류

모델 비 양자화 상위 1 정확도 8 비트 양자화 정확도
Nasnet - 모바일 74 % 73 %
Resnet-V2 (50) 75.6 % 75 %

모델은 Imagenet 테스트 및 TensorFlow 및 TFLite 모두에서 평가 하였다.

받는 사람 또한 양자화 인식 훈련 예를 들어 , 다음 예제를 참조하십시오

  • 양자화와 MNIST 필기 자리 분류 작업에 CNN 모델 : 코드

비슷한 백그라운드를 들어, 효율적인 정수 산술 전용 추론을위한 신경 회로망의 양자화 및 교육을 참조 종이 . 이 논문은이 도구를 사용하는 몇 가지 개념을 소개합니다. 구현은 동일하지 않으며,이 도구에 사용되는 추가 개념 (예를 들면 당 축 양자화)이 있습니다.