TensorFlow Model Optimization Toolkit ช่วยลดความซับซ้อนของการเพิ่มประสิทธิภาพการอนุมานของแมชชีนเลิร์นนิง
ประสิทธิภาพในการอนุมานเป็นข้อกังวลที่สำคัญเมื่อปรับใช้โมเดลแมชชีนเลิร์นนิงเนื่องจากเวลาแฝงการใช้หน่วยความจำและในหลาย ๆ กรณีการใช้พลังงาน โดยเฉพาะอย่างยิ่งบนอุปกรณ์ที่ทันสมัยเช่นอุปกรณ์เคลื่อนที่และอินเทอร์เน็ตของสิ่งต่างๆ (IoT) ทรัพยากรจะมีข้อ จำกัด มากขึ้นและขนาดของโมเดลและประสิทธิภาพของการคำนวณกลายเป็นประเด็นสำคัญ
ความต้องการด้านการคำนวณสำหรับ การฝึกอบรม เพิ่มขึ้นตามจำนวนแบบจำลองที่ได้รับการฝึกฝนในสถาปัตยกรรมที่แตกต่างกันในขณะที่ความต้องการด้านการคำนวณสำหรับการ อนุมาน เพิ่มขึ้นตามสัดส่วนของจำนวนผู้ใช้
กรณีการใช้งาน
การเพิ่มประสิทธิภาพโมเดลมีประโยชน์เหนือสิ่งอื่นใดสำหรับ:
- ลดเวลาในการตอบสนองและค่าใช้จ่ายสำหรับการอนุมานสำหรับทั้งอุปกรณ์คลาวด์และอุปกรณ์เอดจ์ (เช่นอุปกรณ์เคลื่อนที่ IoT)
- การปรับใช้โมเดลบนอุปกรณ์ edge ที่มีข้อ จำกัด ในการประมวลผลหน่วยความจำและ / หรือการใช้พลังงาน
- การลดขนาดน้ำหนักบรรทุกสำหรับการอัปเดตแบบจำลองทางอากาศ
- การเปิดใช้งานการดำเนินการกับฮาร์ดแวร์ที่ จำกัด หรือปรับให้เหมาะสมสำหรับการดำเนินการจุดคงที่
- การเพิ่มประสิทธิภาพโมเดลสำหรับตัวเร่งฮาร์ดแวร์สำหรับวัตถุประสงค์พิเศษ
เทคนิคการเพิ่มประสิทธิภาพ
พื้นที่ของการเพิ่มประสิทธิภาพแบบจำลองอาจเกี่ยวข้องกับเทคนิคต่างๆ:
- ลดจำนวนพารามิเตอร์ด้วยการตัดแต่งกิ่งและการตัดแต่งกิ่งที่มีโครงสร้าง
- ลดความแม่นยำในการแสดงด้วยการหาปริมาณ
- อัปเดตโทโพโลยีแบบจำลองดั้งเดิมให้มีประสิทธิภาพมากขึ้นด้วยพารามิเตอร์ที่ลดลงหรือการดำเนินการที่เร็วขึ้น ตัวอย่างเช่นวิธีการย่อยสลายเทนเซอร์และการกลั่น
ชุดเครื่องมือของเราสนับสนุน การหาปริมาณหลังการฝึกอบรมการรับ รู้ปริมาณการ ตัดแต่งกิ่ง และการทำ คลัสเตอร์
ปริมาณ
โมเดลเชิงควอนตัสคือโมเดลที่เราเป็นตัวแทนของโมเดลที่มีความแม่นยำต่ำกว่าเช่นจำนวนเต็ม 8 บิตซึ่งต่างจากโฟลต 32 บิต ความแม่นยำต่ำเป็นข้อกำหนดในการใช้ประโยชน์จากฮาร์ดแวร์บางอย่าง
ความเบาบางและการตัดแต่งกิ่ง
แบบจำลองแบบกระจัดกระจายคือแบบจำลองที่มีการตัดการเชื่อมต่อระหว่างตัวดำเนินการ (เช่นเลเยอร์เครือข่ายประสาท) โดยแนะนำค่าศูนย์ให้กับเทนเซอร์พารามิเตอร์
การทำคลัสเตอร์
โมเดลแบบคลัสเตอร์คือโมเดลที่พารามิเตอร์ของโมเดลดั้งเดิมถูกแทนที่ด้วยค่าที่ไม่ซ้ำกันจำนวนน้อยกว่า