TensorFlow Model Optimization Toolkit ช่วยลดความซับซ้อนของการอนุมานการเรียนรู้ของเครื่องให้เหมาะสม
ประสิทธิภาพการอนุมานเป็นปัญหาสำคัญเมื่อปรับใช้โมเดลแมชชีนเลิร์นนิงเนื่องจากเวลาแฝง การใช้หน่วยความจำ และในหลายกรณีการใช้พลังงาน โดยเฉพาะอย่างยิ่งในอุปกรณ์ Edge เช่น อุปกรณ์เคลื่อนที่และ Internet of Things (IoT) ทรัพยากรจะถูกจำกัดเพิ่มเติม และขนาดโมเดลและประสิทธิภาพของการคำนวณกลายเป็นข้อกังวลหลัก
ความต้องการทางคอมพิวเตอร์สำหรับ การฝึกอบรม เพิ่มขึ้นตามจำนวนแบบจำลองที่ได้รับการฝึกฝนบนสถาปัตยกรรมที่แตกต่างกัน ในขณะที่ความต้องการทางคอมพิวเตอร์สำหรับการ อนุมาน จะเพิ่มขึ้นตามสัดส่วนของจำนวนผู้ใช้
กรณีการใช้งาน
การปรับโมเดลให้เหมาะสมมีประโยชน์เหนือสิ่งอื่นใดสำหรับ:
- ลดเวลาแฝงและค่าใช้จ่ายในการอนุมานสำหรับทั้งอุปกรณ์คลาวด์และอุปกรณ์ Edge (เช่น อุปกรณ์เคลื่อนที่, IoT)
- การปรับใช้โมเดลบนอุปกรณ์ Edge ที่มีข้อจำกัดในการประมวลผล หน่วยความจำ และ/หรือการใช้พลังงาน
- การลดขนาดเพย์โหลดสำหรับการอัพเดตโมเดลแบบ over-the-air
- เปิดใช้งานการดำเนินการบนฮาร์ดแวร์ที่จำกัดเฉพาะหรือปรับให้เหมาะสมสำหรับการทำงานแบบจุดตายตัว
- การปรับโมเดลให้เหมาะสมสำหรับตัวเร่งฮาร์ดแวร์วัตถุประสงค์พิเศษ
เทคนิคการเพิ่มประสิทธิภาพ
พื้นที่ของการปรับโมเดลให้เหมาะสมที่สุดอาจเกี่ยวข้องกับเทคนิคต่างๆ:
- ลดจำนวนพารามิเตอร์ด้วยการตัดแต่งกิ่งและการตัดแต่งกิ่งที่มีโครงสร้าง
- ลดความแม่นยำในการเป็นตัวแทนด้วยการหาปริมาณ
- อัปเดตโทโพโลยีโมเดลดั้งเดิมให้มีประสิทธิภาพมากขึ้นด้วยพารามิเตอร์ที่ลดลงหรือการดำเนินการที่เร็วขึ้น ตัวอย่างเช่น วิธีการสลายตัวของเทนเซอร์และการกลั่น
ชุดเครื่องมือของเรารองรับ การควอนไทซ์หลังการฝึก การฝึกการรับรู้การหา ปริมาณ การ ตัดแต่งกิ่ง และการ จัดกลุ่ม ชุดเครื่องมือนี้ยังให้การสนับสนุนทดลองสำหรับ การเพิ่มประสิทธิภาพการทำงานร่วมกัน เพื่อรวมเทคนิคต่างๆ
การหาปริมาณ
โมเดลเชิงปริมาณคือโมเดลที่เรานำเสนอโมเดลที่มีความแม่นยำต่ำกว่า เช่น จำนวนเต็ม 8 บิต เมื่อเทียบกับทุ่น 32 บิต ความแม่นยำที่ต่ำกว่านั้นเป็นข้อกำหนดในการใช้ประโยชน์จากฮาร์ดแวร์บางตัว
ความบางและการตัดแต่งกิ่ง
โมเดลแบบเบาบางคือโมเดลที่การเชื่อมต่อระหว่างตัวดำเนินการ (เช่น เลเยอร์โครงข่ายประสาทเทียม) ได้รับการตัดแต่ง โดยแนะนำค่าศูนย์ให้กับเมตริกซ์พารามิเตอร์
การจัดกลุ่ม
โมเดลแบบคลัสเตอร์คือโมเดลที่พารามิเตอร์ของโมเดลดั้งเดิมถูกแทนที่ด้วยค่าที่ไม่ซ้ำกันจำนวนน้อยกว่า
การเพิ่มประสิทธิภาพการทำงานร่วมกัน
ชุดเครื่องมือนี้ให้การสนับสนุนทดลองสำหรับการเพิ่มประสิทธิภาพการทำงานร่วมกัน สิ่งนี้ช่วยให้คุณได้รับประโยชน์จากการผสมผสานเทคนิคการบีบอัดแบบจำลองหลายแบบและบรรลุความแม่นยำที่เพิ่มขึ้นพร้อมกันผ่านการฝึกอบรมการรู้เชิงปริมาณ