คลาสย่อยโดยตรงที่รู้จัก |
ตัวเลือกการมอบหมาย
คลาสที่ซ้อนกัน
แจกแจง | GpuDelegateFactory.Options.GpuBackend | แบ็กเอนด์ GPU ใดให้เลือก |
ค่าคงที่
ภายใน | INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER | ผู้รับมอบสิทธิ์จะถูกใช้เพียงครั้งเดียว ดังนั้น ควรคำนึงถึงเวลาบูต/เริ่มต้นด้วย |
ภายใน | INFERENCE_PREFERENCE_SUSTAINED_SPEED | ต้องการเพิ่มปริมาณงานให้สูงสุด |
คอนสตรัคชั่นสาธารณะ
ตัวเลือก () |
วิธีการสาธารณะ
บูลีน | |
GpuDelegateFactory.Options.GpuBackend | |
ภายใน | |
สตริง | |
สตริง | |
บูลีน | |
GpuDelegateFactory ตัวเลือก | |
GpuDelegateFactory ตัวเลือก | setInferencePreference (การตั้งค่า int) ตั้งค่าการกำหนดค่าตามความชอบการอนุมานสำหรับความแม่นยำ/การคอมไพล์/รันไทม์ที่ต้องแลกมา |
GpuDelegateFactory ตัวเลือก | setPrecisionLossAllowed (ความแม่นยำแบบบูลีนที่อนุญาตการสูญเสีย) ตั้งค่าว่าจะอนุญาตให้สูญเสียความแม่นยำหรือไม่ |
GpuDelegateFactory ตัวเลือก | setQuantizedModelsAllowed (บูลีน quantizedModelsAllowed) เปิดใช้งานการเรียกใช้โมเดลเชิงปริมาณกับผู้รับมอบสิทธิ์ |
GpuDelegateFactory ตัวเลือก | setSerializationParams ( สตริง การทำให้เป็นอนุกรมDir, สตริง modelToken) เปิดใช้งานการทำให้เป็นอนุกรมบนผู้รับมอบสิทธิ์ |
วิธีการสืบทอด
ค่าคงที่
int คงที่สาธารณะสุดท้าย INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER
ผู้รับมอบสิทธิ์จะถูกใช้เพียงครั้งเดียว ดังนั้น ควรคำนึงถึงเวลาบูต/เริ่มต้นด้วย
int สุดท้ายแบบคงที่สาธารณะ INFERENCE_PREFERENCE_SUSTAINED_SPEED
ต้องการเพิ่มปริมาณงานให้สูงสุด ผู้รับมอบสิทธิ์คนเดียวกันจะถูกใช้ซ้ำๆ กับอินพุตหลายตัว
คอนสตรัคชั่นสาธารณะ
ตัวเลือก สาธารณะ ()
วิธีการสาธารณะ
บูลีนสาธารณะ areQuantizedModelsAllowed ()
สาธารณะ int getInferencePreference ()
บูลีนสาธารณะ คือPrecisionLossAllowed ()
GpuDelegateFactory.Options สาธารณะ setForceBackend ( GpuDelegateFactory.Options.GpuBackend forceBackend)
ตั้งค่าแบ็กเอนด์ GPU
พารามิเตอร์
บังคับแบ็กเอนด์ |
---|
GpuDelegateFactory.Options สาธารณะ setInferencePreference (การตั้งค่า int)
ตั้งค่าการกำหนดค่าตามความชอบการอนุมานสำหรับความแม่นยำ/การคอมไพล์/รันไทม์ที่ต้องแลกมา
พารามิเตอร์
ความพึงใจ | หนึ่งใน `INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER` (ค่าเริ่มต้น), `INFERENCE_PREFERENCE_SUSTAINED_SPEED` |
---|
GpuDelegateFactory.Options สาธารณะ setPrecisionLossAllowed (ความแม่นยำแบบบูลีนที่อนุญาตการสูญเสีย)
ตั้งค่าว่าจะอนุญาตให้สูญเสียความแม่นยำหรือไม่
พารามิเตอร์
อนุญาตความแม่นยำในการสูญเสีย | เมื่อ "จริง" (ค่าเริ่มต้น) GPU อาจหาปริมาณเทนเซอร์ ค่าดาวน์คาสต์ ประมวลผลใน FP16 เมื่อเป็น "เท็จ" การคำนวณจะดำเนินการในจุดลอยตัว 32 บิต |
---|
GpuDelegateFactory.Options สาธารณะ setQuantizedModelsAllowed (บูลีน quantizedModelsAllowed)
เปิดใช้งานการเรียกใช้โมเดลเชิงปริมาณกับผู้รับมอบสิทธิ์
คำเตือน: นี่เป็น API ทดลองและอาจมีการเปลี่ยนแปลงได้
พารามิเตอร์
quantizedModelsAllowed | เมื่อ true (ค่าเริ่มต้น) GPU อาจเรียกใช้โมเดลเชิงปริมาณ |
---|
GpuDelegateFactory.Options สาธารณะ setSerializationParams ( สตริง serializationDir, String modelToken)
เปิดใช้งานการทำให้เป็นอนุกรมบนผู้รับมอบสิทธิ์ หมายเหตุ ต้องใช้ serializationDir
และ modelToken
ที่ไม่ใช่ค่าว่างสำหรับการทำให้เป็นอนุกรม
คำเตือน: นี่เป็น API ทดลองและอาจมีการเปลี่ยนแปลงได้
พารามิเตอร์
การทำให้เป็นอนุกรมDir | ไดเร็กทอรีที่ใช้เก็บข้อมูล ผู้โทรมีหน้าที่รับผิดชอบเพื่อให้แน่ใจว่าโมเดลไม่ได้ถูกจัดเก็บไว้ในไดเร็กทอรีสาธารณะ ขอแนะนำให้ใช้ Context.getCodeCacheDir() เพื่อระบุตำแหน่งส่วนตัวสำหรับแอปพลิเคชันบน Android |
---|---|
โมเดลโทเค็น | โทเค็นที่จะใช้เพื่อระบุโมเดล ผู้โทรมีหน้าที่รับผิดชอบในการตรวจสอบให้แน่ใจว่าโทเค็นนั้นไม่ซ้ำกับกราฟโมเดลและข้อมูล |