การเพิ่มประสิทธิภาพโมเดล TensorFlow

TensorFlow Model Optimization Toolkit ช่วยลดความซับซ้อนของการอนุมานการเรียนรู้ของเครื่องให้เหมาะสม

ประสิทธิภาพการอนุมานเป็นปัญหาสำคัญเมื่อปรับใช้โมเดลแมชชีนเลิร์นนิงเนื่องจากเวลาแฝง การใช้หน่วยความจำ และในหลายกรณีการใช้พลังงาน โดยเฉพาะอย่างยิ่งในอุปกรณ์ Edge เช่น อุปกรณ์เคลื่อนที่และ Internet of Things (IoT) ทรัพยากรจะถูกจำกัดเพิ่มเติม และขนาดโมเดลและประสิทธิภาพของการคำนวณกลายเป็นข้อกังวลหลัก

ความต้องการทางคอมพิวเตอร์สำหรับ การฝึกอบรม เพิ่มขึ้นตามจำนวนแบบจำลองที่ได้รับการฝึกฝนบนสถาปัตยกรรมที่แตกต่างกัน ในขณะที่ความต้องการทางคอมพิวเตอร์สำหรับการ อนุมาน จะเพิ่มขึ้นตามสัดส่วนของจำนวนผู้ใช้

กรณีการใช้งาน

การปรับโมเดลให้เหมาะสมมีประโยชน์เหนือสิ่งอื่นใดสำหรับ:

  • ลดเวลาแฝงและค่าใช้จ่ายในการอนุมานสำหรับทั้งอุปกรณ์คลาวด์และอุปกรณ์ Edge (เช่น อุปกรณ์เคลื่อนที่, IoT)
  • การปรับใช้โมเดลบนอุปกรณ์ Edge ที่มีข้อจำกัดในการประมวลผล หน่วยความจำ และ/หรือการใช้พลังงาน
  • การลดขนาดเพย์โหลดสำหรับการอัพเดตโมเดลแบบ over-the-air
  • เปิดใช้งานการดำเนินการบนฮาร์ดแวร์ที่จำกัดเฉพาะหรือปรับให้เหมาะสมสำหรับการทำงานแบบจุดตายตัว
  • การปรับโมเดลให้เหมาะสมสำหรับตัวเร่งฮาร์ดแวร์วัตถุประสงค์พิเศษ

เทคนิคการเพิ่มประสิทธิภาพ

พื้นที่ของการปรับโมเดลให้เหมาะสมที่สุดอาจเกี่ยวข้องกับเทคนิคต่างๆ:

  • ลดจำนวนพารามิเตอร์ด้วยการตัดแต่งกิ่งและการตัดแต่งกิ่งที่มีโครงสร้าง
  • ลดความแม่นยำในการเป็นตัวแทนด้วยการหาปริมาณ
  • อัปเดตโทโพโลยีโมเดลดั้งเดิมให้มีประสิทธิภาพมากขึ้นด้วยพารามิเตอร์ที่ลดลงหรือการดำเนินการที่เร็วขึ้น ตัวอย่างเช่น วิธีการสลายตัวของเทนเซอร์และการกลั่น

ชุดเครื่องมือของเรา รองรับ การ จัดกลุ่ม หลังการ ฝึก ชุดเครื่องมือนี้ยังให้การสนับสนุนทดลองสำหรับ การเพิ่มประสิทธิภาพการทำงานร่วมกัน เพื่อรวมเทคนิคต่างๆ

การหาปริมาณ

โมเดลเชิงปริมาณคือโมเดลที่เรานำเสนอโมเดลที่มีความแม่นยำต่ำกว่า เช่น จำนวนเต็ม 8 บิต เทียบกับทุ่น 32 บิต ความแม่นยำที่ต่ำกว่านั้นเป็นข้อกำหนดในการใช้ประโยชน์จากฮาร์ดแวร์บางตัว

ความบางและการตัดแต่งกิ่ง

โมเดลแบบเบาบางคือโมเดลที่การเชื่อมต่อระหว่างตัวดำเนินการ (เช่น เลเยอร์โครงข่ายประสาทเทียม) ได้รับการตัดแต่ง โดยแนะนำค่าศูนย์ให้กับเมตริกซ์พารามิเตอร์

การจัดกลุ่ม

โมเดลแบบคลัสเตอร์คือโมเดลที่พารามิเตอร์ของโมเดลดั้งเดิมถูกแทนที่ด้วยค่าที่ไม่ซ้ำกันจำนวนน้อยกว่า

การเพิ่มประสิทธิภาพการทำงานร่วมกัน

ชุดเครื่องมือนี้ให้การสนับสนุนทดลองสำหรับการเพิ่มประสิทธิภาพการทำงานร่วมกัน วิธีนี้ช่วยให้คุณได้รับประโยชน์จากการผสมผสานเทคนิคการบีบอัดแบบจำลองหลายๆ แบบ และได้รับความแม่นยำที่ดีขึ้นไปพร้อม ๆ กันผ่านการฝึกอบรมการรู้เชิงปริมาณ