이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

성능 벤치 마크

이 문서는 일부 Android 및 iOS 장치에서 잘 알려진 모델을 실행할 때 TensorFlow Lite 성능 벤치 마크를 나열합니다.

이러한 성능 벤치 마크 수치는 Android TFLite 벤치 마크 바이너리iOS 벤치 마크 앱으로 생성되었습니다 .

안드로이드 성능 벤치 마크

Android 벤치 마크의 경우 CPU 선호도는 디바이스에서 큰 코어를 사용하여 분산을 줄 이도록 설정됩니다 ( 세부 사항 참조 ).

모델이 /data/local/tmp/tflite_models 디렉토리에 다운로드되어 압축이 풀린 것으로 가정합니다. 벤치 마크 바이너리는 이 지시 사항을 사용하여 빌드되며 /data/local/tmp 디렉토리에 있다고 가정합니다.

벤치 마크를 실행하려면

 adb shell /data/local/tmp/benchmark_model \
  --num_threads=4 \
  --graph=/data/local/tmp/tflite_models/${GRAPH} \
  --warmup_runs=1 \
  --num_runs=50
 

nnapi 델리게이트로 실행하려면 --use_nnapi=true 설정하십시오. gpu 델리게이트로 실행하려면 --use_gpu=true 설정하십시오.

아래 성능 값은 Android 10에서 측정됩니다.

모델명 장치 CPU, 스레드 4 개 GPU NNAPI
Mobilenet_1.0_224 (플로트) 픽셀 3 23.9ms 6.45ms 13.8ms
픽셀 4 14.0ms 9.0ms 14.8ms
Mobilenet_1.0_224 (수량) 픽셀 3 13.4ms --- 6.0ms
픽셀 4 5.0ms --- 3.2ms
NASNet 모바일 픽셀 3 56ms --- 102ms
픽셀 4 34.5ms --- 99.0ms
스퀴즈 넷 픽셀 3 35.8ms 9.5ms 18.5ms
픽셀 4 23.9ms 11.1ms 19.0ms
Inception_ResNet_V2 픽셀 3 422ms 99.8ms 201ms
픽셀 4 272.6ms 87.2ms 171.1ms
시작 _V4 픽셀 3 486ms 93ms 292ms
픽셀 4 324.1ms 97.6ms 186.9ms

iOS 벤치 마크

iOS 벤치 마크를 실행하기 위해 벤치 마크 앱 이 적절한 모델을 포함하도록 수정되었고 benchmark_params.json "use_gpu" : "1" num_threads 를 2로 설정하도록 수정되었습니다. GPU 위임의 경우 "use_gpu" : "1""gpu_wait_type" : "aggressive" 옵션도 추가되었습니다. benchmark_params.json 합니다.

모델명 장치 CPU, 2 개의 스레드 GPU
Mobilenet_1.0_224 (플로트) 아이폰 XS 14.8ms 3.4ms
Mobilenet_1.0_224 (수량) 아이폰 XS 11ms ---
NASNet 모바일 아이폰 XS 30.4ms ---
스퀴즈 넷 아이폰 XS 21.1ms 15.5ms
Inception_ResNet_V2 아이폰 XS 261.1ms 45.7ms
시작 _V4 아이폰 XS 309ms 54.4ms