GpuDelegateFactory.Options

GpuDelegateFactory.Options คลาสคงที่สาธารณะ
คลาสย่อยโดยตรงที่รู้จัก

ตัวเลือกการมอบหมาย

คลาสที่ซ้อนกัน

แจกแจง GpuDelegateFactory.Options.GpuBackend แบ็กเอนด์ GPU ใดให้เลือก

ค่าคงที่

ภายใน INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER ผู้รับมอบสิทธิ์จะถูกใช้เพียงครั้งเดียว ดังนั้น ควรคำนึงถึงเวลาบูต/เริ่มต้นด้วย
ภายใน INFERENCE_PREFERENCE_SUSTAINED_SPEED ต้องการเพิ่มปริมาณงานให้สูงสุด

คอนสตรัคชั่นสาธารณะ

ตัวเลือก ()

วิธีการสาธารณะ

บูลีน
areQuantizedModelsAllowed ()
GpuDelegateFactory.Options.GpuBackend
getForceBackend ()
ภายใน
getInferencePreference ()
สตริง
getModelToken ()
สตริง
getSerializationDir ()
บูลีน
อนุญาตให้มีการสูญเสียความแม่นยำ ()
GpuDelegateFactory ตัวเลือก
setForceBackend ( GpuDelegateFactory.Options.GpuBackend บังคับ Backend)
ตั้งค่าแบ็กเอนด์ GPU
GpuDelegateFactory ตัวเลือก
setInferencePreference (การตั้งค่า int)
ตั้งค่าการกำหนดค่าตามความชอบการอนุมานสำหรับความแม่นยำ/การคอมไพล์/รันไทม์ที่ต้องแลกมา
GpuDelegateFactory ตัวเลือก
setPrecisionLossAllowed (ความแม่นยำแบบบูลีนที่อนุญาตการสูญเสีย)
ตั้งค่าว่าจะอนุญาตให้สูญเสียความแม่นยำหรือไม่
GpuDelegateFactory ตัวเลือก
setQuantizedModelsAllowed (บูลีน quantizedModelsAllowed)
เปิดใช้งานการเรียกใช้โมเดลเชิงปริมาณกับผู้รับมอบสิทธิ์
GpuDelegateFactory ตัวเลือก
setSerializationParams ( สตริง การทำให้เป็นอนุกรมDir, สตริง modelToken)
เปิดใช้งานการทำให้เป็นอนุกรมบนผู้รับมอบสิทธิ์

วิธีการสืบทอด

ค่าคงที่

int คงที่สาธารณะสุดท้าย INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER

ผู้รับมอบสิทธิ์จะถูกใช้เพียงครั้งเดียว ดังนั้น ควรคำนึงถึงเวลาบูต/เริ่มต้นด้วย

ค่าคงที่: 0

int สุดท้ายแบบคงที่สาธารณะ INFERENCE_PREFERENCE_SUSTAINED_SPEED

ต้องการเพิ่มปริมาณงานให้สูงสุด ผู้รับมอบสิทธิ์คนเดียวกันจะถูกใช้ซ้ำๆ กับอินพุตหลายตัว

ค่าคงที่: 1

คอนสตรัคชั่นสาธารณะ

ตัวเลือก สาธารณะ ()

วิธีการสาธารณะ

บูลีนสาธารณะ areQuantizedModelsAllowed ()

GpuDelegateFactory.Options.GpuBackend getForceBackend สาธารณะ ()

สาธารณะ int getInferencePreference ()

สตริง สาธารณะ getModelToken ()

สตริง สาธารณะ getSerializationDir ()

บูลีนสาธารณะ คือPrecisionLossAllowed ()

GpuDelegateFactory.Options สาธารณะ setForceBackend ( GpuDelegateFactory.Options.GpuBackend forceBackend)

ตั้งค่าแบ็กเอนด์ GPU

พารามิเตอร์
บังคับแบ็กเอนด์

GpuDelegateFactory.Options สาธารณะ setInferencePreference (การตั้งค่า int)

ตั้งค่าการกำหนดค่าตามความชอบการอนุมานสำหรับความแม่นยำ/การคอมไพล์/รันไทม์ที่ต้องแลกมา

พารามิเตอร์
ความพึงใจ หนึ่งใน `INFERENCE_PREFERENCE_FAST_SINGLE_ANSWER` (ค่าเริ่มต้น), `INFERENCE_PREFERENCE_SUSTAINED_SPEED`

GpuDelegateFactory.Options สาธารณะ setPrecisionLossAllowed (ความแม่นยำแบบบูลีนที่อนุญาตการสูญเสีย)

ตั้งค่าว่าจะอนุญาตให้สูญเสียความแม่นยำหรือไม่

พารามิเตอร์
อนุญาตความแม่นยำในการสูญเสีย เมื่อ "จริง" (ค่าเริ่มต้น) GPU อาจหาปริมาณเทนเซอร์ ค่าดาวน์คาสต์ ประมวลผลใน FP16 เมื่อเป็น "เท็จ" การคำนวณจะดำเนินการในจุดลอยตัว 32 บิต

GpuDelegateFactory.Options สาธารณะ setQuantizedModelsAllowed (บูลีน quantizedModelsAllowed)

เปิดใช้งานการเรียกใช้โมเดลเชิงปริมาณกับผู้รับมอบสิทธิ์

คำเตือน: นี่เป็น API ทดลองและอาจมีการเปลี่ยนแปลงได้

พารามิเตอร์
quantizedModelsAllowed เมื่อ true (ค่าเริ่มต้น) GPU อาจเรียกใช้โมเดลเชิงปริมาณ

GpuDelegateFactory.Options สาธารณะ setSerializationParams ( สตริง serializationDir, String modelToken)

เปิดใช้งานการทำให้เป็นอนุกรมบนผู้รับมอบสิทธิ์ หมายเหตุ ต้องใช้ serializationDir และ modelToken ที่ไม่ใช่ค่าว่างสำหรับการทำให้เป็นอนุกรม

คำเตือน: นี่เป็น API ทดลองและอาจมีการเปลี่ยนแปลงได้

พารามิเตอร์
การทำให้เป็นอนุกรมDir ไดเร็กทอรีที่ใช้เก็บข้อมูล ผู้โทรมีหน้าที่รับผิดชอบเพื่อให้แน่ใจว่าโมเดลไม่ได้ถูกจัดเก็บไว้ในไดเร็กทอรีสาธารณะ ขอแนะนำให้ใช้ Context.getCodeCacheDir() เพื่อระบุตำแหน่งส่วนตัวสำหรับแอปพลิเคชันบน Android
โมเดลโทเค็น โทเค็นที่จะใช้เพื่อระบุโมเดล ผู้โทรมีหน้าที่รับผิดชอบในการตรวจสอบให้แน่ใจว่าโทเค็นนั้นไม่ซ้ำกับกราฟโมเดลและข้อมูล