การใช้หน่วยประมวลผลกราฟิก (GPU) เพื่อเรียกใช้โมเดลแมชชีนเลิร์นนิง (ML) ของคุณสามารถปรับปรุงประสิทธิภาพของโมเดลของคุณและประสบการณ์ผู้ใช้ของแอปพลิเคชันที่เปิดใช้งาน ML ได้อย่างมาก TensorFlow Lite ช่วยให้สามารถใช้ GPU และโปรเซสเซอร์พิเศษอื่นๆ ผ่านไดรเวอร์ฮาร์ดแวร์ที่เรียกว่า delegates การเปิดใช้งาน GPU กับแอปพลิเคชัน TensorFlow Lite ML ของคุณสามารถให้ประโยชน์ดังต่อไปนี้:
- ความเร็ว - GPU สร้างขึ้นสำหรับปริมาณงานสูงแบบขนานจำนวนมาก การออกแบบนี้ทำให้เหมาะสมอย่างยิ่งสำหรับโครงข่ายประสาทส่วนลึก ซึ่งประกอบด้วยตัวดำเนินการจำนวนมาก โดยแต่ละตัวทำงานบนเทนเซอร์อินพุตที่สามารถประมวลผลแบบขนานได้ ซึ่งโดยทั่วไปแล้วจะส่งผลให้เวลาแฝงต่ำลง ในสถานการณ์ที่ดีที่สุด การรันโมเดลของคุณบน GPU อาจทำงานเร็วพอที่จะเปิดใช้งานแอปพลิเคชันแบบเรียลไทม์ที่ไม่เคยทำมาก่อน
- ประสิทธิภาพด้านพลังงาน - GPU ดำเนินการคำนวณ ML ในลักษณะที่มีประสิทธิภาพและเหมาะสมที่สุด โดยทั่วไปจะใช้พลังงานน้อยกว่าและสร้างความร้อนน้อยกว่างานเดียวกันที่ทำงานบน CPU
เอกสารนี้ให้ภาพรวมของการรองรับ GPU ใน TensorFlow Lite และการใช้งานขั้นสูงบางอย่างสำหรับโปรเซสเซอร์ GPU สำหรับข้อมูลเฉพาะเพิ่มเติมเกี่ยวกับการปรับใช้การรองรับ GPU บนแพลตฟอร์มเฉพาะ โปรดดูคำแนะนำต่อไปนี้:
รองรับการทำงานของ GPU ML
มีข้อจำกัดบางประการสำหรับการทำงานของ TensorFlow ML หรือ ops ที่ผู้ได้รับมอบสิทธิ์ GPU ของ TensorFlow Lite เร่งความเร็วได้ ผู้รับมอบสิทธิ์สนับสนุน ops ต่อไปนี้ในความแม่นยำแบบ 16 บิตและ 32 บิต:
-
ADD
-
AVERAGE_POOL_2D
-
CONCATENATION
-
CONV_2D
-
DEPTHWISE_CONV_2D v1-2
-
EXP
-
FULLY_CONNECTED
-
LOGISTIC
-
LSTM v2 (Basic LSTM only)
-
MAX_POOL_2D
-
MAXIMUM
-
MINIMUM
-
MUL
-
PAD
-
PRELU
-
RELU
-
RELU6
-
RESHAPE
-
RESIZE_BILINEAR v1-3
-
SOFTMAX
-
STRIDED_SLICE
-
SUB
-
TRANSPOSE_CONV
โดยค่าเริ่มต้น ops ทั้งหมดจะได้รับการสนับสนุนในเวอร์ชัน 1 เท่านั้น การเปิดใช้งานการ สนับสนุน quantization จะเปิดใช้งานเวอร์ชันที่เหมาะสม เช่น ADD v2
การแก้ไขปัญหาการสนับสนุน GPU
หากตัวแทน GPU ไม่รองรับ ops บางตัว เฟรมเวิร์กจะเรียกใช้กราฟเพียงส่วนหนึ่งของ GPU และส่วนที่เหลือบน CPU เนื่องจากการซิงโครไนซ์ CPU/GPU มีค่าใช้จ่ายสูง โหมดการทำงานแบบแยกส่วนเช่นนี้มักจะส่งผลให้ประสิทธิภาพการทำงานช้าลงกว่าเมื่อเครือข่ายทั้งหมดทำงานบน CPU เพียงอย่างเดียว ในกรณีนี้ แอปพลิเคชันจะสร้างคำเตือน เช่น:
WARNING: op code #42 cannot be handled by this delegate.
ไม่มีการเรียกกลับสำหรับความล้มเหลวของประเภทนี้ เนื่องจากนี่ไม่ใช่ความล้มเหลวรันไทม์ที่เกิดขึ้นจริง เมื่อทำการทดสอบการทำงานของโมเดลของคุณกับผู้รับมอบสิทธิ์ GPU คุณควรได้รับการแจ้งเตือนสำหรับคำเตือนเหล่านี้ คำเตือนจำนวนมากเหล่านี้สามารถบ่งชี้ว่าโมเดลของคุณไม่เหมาะที่สุดสำหรับการเร่งความเร็ว GPU และอาจต้องมีการปรับโครงสร้างโมเดลใหม่
ตัวอย่างรุ่น
โมเดลตัวอย่างต่อไปนี้สร้างขึ้นเพื่อใช้ประโยชน์จากการเร่งความเร็ว GPU ด้วย TensorFlow Lite และมีไว้สำหรับการอ้างอิงและการทดสอบ:
- การ จัดประเภทรูปภาพ MobileNet v1 (224x224) - โมเดลการจำแนกรูปภาพที่ออกแบบมาสำหรับแอปพลิเคชันวิชันซิสเต็มมือถือและแบบฝัง ( รุ่น )
- การแบ่งส่วน DeepLab (257x257) - โมเดลการแบ่งส่วนรูปภาพที่กำหนดป้ายกำกับเชิงความหมาย เช่น สุนัข แมว รถยนต์ ให้กับทุกพิกเซลในภาพอินพุต ( รุ่น )
- การตรวจจับอ็อบเจ็กต์ MobileNet SSD - โมเดลการจำแนกอิมเมจที่ตรวจจับหลายอ็อบเจ็กต์ที่มี bounding box ( รุ่น )
- PoseNet สำหรับการประมาณค่าท่าทาง - แบบจำลองการมองเห็นที่ประเมินท่าทางของคนในรูปหรือวิดีโอ ( รุ่น )
การเพิ่มประสิทธิภาพสำหรับ GPU
เทคนิคต่อไปนี้สามารถช่วยให้คุณได้รับประสิทธิภาพที่ดีขึ้นเมื่อใช้งานรุ่นต่างๆ บนฮาร์ดแวร์ GPU โดยใช้ผู้แทน TensorFlow Lite GPU:
การปรับรูปร่างการทำงาน - การดำเนินการบางอย่างที่รวดเร็วบน CPU อาจมีต้นทุนสูงสำหรับ GPU บนอุปกรณ์มือถือ การดำเนินการเปลี่ยนรูปร่างนั้นมีค่าใช้จ่ายสูงเป็นพิเศษในการรัน รวมถึง
BATCH_TO_SPACE
,SPACE_TO_BATCH
,SPACE_TO_DEPTH
และอื่นๆ คุณควรตรวจสอบการใช้การดำเนินการปรับรูปร่างอย่างใกล้ชิด และพิจารณาว่าอาจนำไปใช้เพื่อการสำรวจข้อมูลหรือสำหรับการทำซ้ำช่วงแรกๆ ของโมเดลของคุณเท่านั้น การนำออกสามารถปรับปรุงประสิทธิภาพได้อย่างมากช่องข้อมูลภาพ - บน GPU ข้อมูลเทนเซอร์จะถูกแบ่งเป็น 4 ช่องสัญญาณ ดังนั้นการคำนวณบนเทนเซอร์ที่มีรูปร่าง
[B,H,W,5]
จะทำงานเหมือนกันบนเทนเซอร์ของรูปร่าง[B,H,W,8]
แต่แย่กว่า[B,H,W,4]
อย่างเห็นได้ชัด หากฮาร์ดแวร์กล้องที่คุณใช้รองรับเฟรมภาพใน RGBA การป้อนอินพุต 4 แชนเนลนั้นเร็วขึ้นอย่างมาก เนื่องจากจะหลีกเลี่ยงการคัดลอกหน่วยความจำจาก RGB แบบ 3 แชนเนลไปยัง RGBX แบบ 4 แชนเนลโมเดลที่ปรับให้เหมาะกับอุปกรณ์เคลื่อนที่ - เพื่อประสิทธิภาพที่ดีที่สุด คุณควรพิจารณาฝึกอบรมตัวแยกประเภทใหม่ด้วยสถาปัตยกรรมเครือข่ายที่ปรับให้เหมาะกับอุปกรณ์เคลื่อนที่ การปรับให้เหมาะสมสำหรับการอนุมานในอุปกรณ์สามารถลดเวลาแฝงและการใช้พลังงานได้อย่างมากโดยการใช้ประโยชน์จากคุณสมบัติฮาร์ดแวร์มือถือ
รองรับ GPU ขั้นสูง
คุณสามารถใช้เทคนิคขั้นสูงเพิ่มเติมกับการประมวลผล GPU เพื่อเพิ่มประสิทธิภาพให้กับรุ่นของคุณ รวมถึงการควอนไทซ์และการทำให้เป็นอนุกรม ส่วนต่อไปนี้อธิบายเทคนิคเหล่านี้ในรายละเอียดเพิ่มเติม
การใช้แบบจำลองเชิงปริมาณ
ส่วนนี้อธิบายวิธีที่ผู้รับมอบสิทธิ์ GPU เร่งความเร็วโมเดลเชิงปริมาณ 8 บิต รวมถึงสิ่งต่อไปนี้:
- โมเดลที่ได้รับการฝึกอบรมด้วยการฝึกอบรม Quantization-aware
- ควอนไทซ์ช่วงไดนามิก หลังการฝึก
- หลังการฝึก การ หาปริมาณเต็มจำนวนเต็ม
ในการปรับประสิทธิภาพให้เหมาะสม ให้ใช้โมเดลที่มีทั้งเทนเซอร์อินพุตและเอาต์พุตแบบทศนิยม
มันทำงานอย่างไร?
เนื่องจากแบ็กเอนด์ GPU รองรับเฉพาะการประมวลผลแบบทศนิยม เราจึงเรียกใช้โมเดลเชิงปริมาณโดยให้ 'มุมมองจุดลอยตัว' ของโมเดลดั้งเดิม ในระดับสูง มีขั้นตอนดังต่อไปนี้:
เทนเซอร์คง ที่ (เช่น น้ำหนัก/อคติ) จะถูกลดปริมาณลงในหน่วยความจำ GPU หนึ่งครั้ง การดำเนินการนี้เกิดขึ้นเมื่อเปิดใช้งานผู้รับมอบสิทธิ์สำหรับ TensorFlow Lite
อินพุตและเอาต์พุต ไปยังโปรแกรม GPU หากเป็นปริมาณ 8 บิต จะถูกดีควอไทซ์และหาปริมาณ (ตามลำดับ) สำหรับการอนุมานแต่ละรายการ การดำเนินการนี้ดำเนินการบน CPU โดยใช้เคอร์เนลที่ปรับให้เหมาะสมของ TensorFlow Lite
การ จำลองเชิงปริมาณ ถูกแทรกระหว่างการดำเนินการเพื่อเลียนแบบพฤติกรรมเชิงปริมาณ แนวทางนี้จำเป็นสำหรับโมเดลที่ ops คาดว่าการเปิดใช้งานจะเป็นไปตามขอบเขตที่เรียนรู้ในระหว่างการหาปริมาณ
สำหรับข้อมูลเกี่ยวกับการเปิดใช้งานคุณสมบัตินี้กับผู้รับมอบสิทธิ์ GPU ดูต่อไปนี้:
ลดเวลาการเริ่มต้นด้วยการทำให้เป็นอนุกรม
คุณสมบัติผู้รับมอบสิทธิ์ GPU ให้คุณโหลดจากโค้ดเคอร์เนลที่คอมไพล์ล่วงหน้าและข้อมูลโมเดลที่จัดลำดับและบันทึกบนดิสก์จากการรันครั้งก่อน วิธีนี้จะหลีกเลี่ยงการคอมไพล์ซ้ำ และสามารถลดเวลาเริ่มต้นได้มากถึง 90% การปรับปรุงนี้ทำได้โดยการแลกเปลี่ยนพื้นที่ดิสก์เพื่อประหยัดเวลา คุณสามารถเปิดใช้งานคุณลักษณะนี้ด้วยตัวเลือกการกำหนดค่าบางอย่าง ดังที่แสดงในตัวอย่างโค้ดต่อไปนี้:
C++
TfLiteGpuDelegateOptionsV2 options = TfLiteGpuDelegateOptionsV2Default(); options.experimental_flags |= TFLITE_GPU_EXPERIMENTAL_FLAGS_ENABLE_SERIALIZATION; options.serialization_dir = kTmpDir; options.model_token = kModelToken; auto* delegate = TfLiteGpuDelegateV2Create(options); if (interpreter->ModifyGraphWithDelegate(delegate) != kTfLiteOk) return false;
Java
GpuDelegate delegate = new GpuDelegate( new GpuDelegate.Options().setSerializationParams( /* serializationDir= */ serializationDir, /* modelToken= */ modelToken)); Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
เมื่อใช้คุณลักษณะการทำให้เป็นอนุกรม ตรวจสอบให้แน่ใจว่าโค้ดของคุณสอดคล้องกับกฎการใช้งานเหล่านี้:
- จัดเก็บข้อมูลการทำให้เป็นอนุกรมในไดเร็กทอรีที่แอปอื่นไม่สามารถเข้าถึงได้ บนอุปกรณ์ Android ให้ใช้
getCodeCacheDir()
ซึ่งชี้ไปยังตำแหน่งที่เป็นส่วนตัวในแอปพลิเคชันปัจจุบัน - โทเค็นรุ่นต้องไม่ซ้ำกันสำหรับอุปกรณ์สำหรับรุ่นเฉพาะ คุณสามารถคำนวณโทเค็นโมเดลโดยสร้างลายนิ้วมือจากข้อมูลโมเดลโดยใช้ไลบรารี เช่น
farmhash::Fingerprint64