หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

การเพิ่มประสิทธิภาพแบบจำลอง TensorFlow

TensorFlow Model Optimization Toolkit ช่วยลดความซับซ้อนของการเพิ่มประสิทธิภาพการอนุมานการเรียนรู้ของเครื่อง

ประสิทธิภาพในการอนุมานเป็นข้อกังวลที่สำคัญเมื่อปรับใช้โมเดลแมชชีนเลิร์นนิงเนื่องจากเวลาแฝงการใช้หน่วยความจำและในหลาย ๆ กรณีการใช้พลังงาน โดยเฉพาะอย่างยิ่งบนอุปกรณ์ที่ทันสมัยเช่นอุปกรณ์เคลื่อนที่และอินเทอร์เน็ตของสิ่งต่างๆ (IoT) ทรัพยากรจะมีข้อ จำกัด มากขึ้นและขนาดของโมเดลและประสิทธิภาพของการคำนวณก็กลายเป็นประเด็นสำคัญ

ความต้องการด้านการคำนวณสำหรับ การฝึกอบรม เพิ่มขึ้นตามจำนวนแบบจำลองที่ได้รับการฝึกฝนในสถาปัตยกรรมที่แตกต่างกันในขณะที่ความต้องการด้านการคำนวณสำหรับการ อนุมาน เพิ่มขึ้นตามสัดส่วนของจำนวนผู้ใช้

ใช้กรณี

การเพิ่มประสิทธิภาพโมเดลมีประโยชน์เหนือสิ่งอื่นใดสำหรับ:

  • ลดเวลาในการตอบสนองและค่าใช้จ่ายสำหรับการอนุมานสำหรับทั้งอุปกรณ์คลาวด์และอุปกรณ์เอดจ์ (เช่นอุปกรณ์เคลื่อนที่ IoT)
  • การปรับใช้โมเดลบนอุปกรณ์ Edge ที่มีข้อ จำกัด ในการประมวลผลหน่วยความจำและ / หรือการใช้พลังงาน
  • การลดขนาดน้ำหนักบรรทุกสำหรับการอัปเดตแบบจำลองทางอากาศ
  • การเปิดใช้งานการดำเนินการกับฮาร์ดแวร์ที่ จำกัด หรือปรับให้เหมาะสมสำหรับการดำเนินการจุดคงที่
  • การเพิ่มประสิทธิภาพโมเดลสำหรับตัวเร่งฮาร์ดแวร์สำหรับวัตถุประสงค์พิเศษ

เทคนิคการเพิ่มประสิทธิภาพ

พื้นที่ของการเพิ่มประสิทธิภาพแบบจำลองอาจเกี่ยวข้องกับเทคนิคต่างๆ:

  • ลดจำนวนพารามิเตอร์ด้วยการตัดแต่งกิ่งและการตัดแต่งกิ่งที่มีโครงสร้าง
  • ลดความแม่นยำในการแสดงด้วยการหาปริมาณ
  • อัปเดตโทโพโลยีแบบจำลองดั้งเดิมให้มีประสิทธิภาพมากขึ้นด้วยพารามิเตอร์ที่ลดลงหรือการดำเนินการที่เร็วขึ้น ตัวอย่างเช่นวิธีการย่อยสลายเทนเซอร์และการกลั่น

ชุดเครื่องมือของเราสนับสนุน การหาปริมาณหลังการฝึกอบรมการรับ รู้ปริมาณการ ตัดแต่งกิ่ง และการทำ คลัสเตอร์

ควอน

โมเดลเชิงควอนตัสคือโมเดลที่เราเป็นตัวแทนของโมเดลที่มีความแม่นยำต่ำกว่าเช่นจำนวนเต็ม 8 บิตซึ่งตรงข้ามกับโฟลต 32 บิต ความแม่นยำต่ำเป็นข้อกำหนดในการใช้ประโยชน์จากฮาร์ดแวร์บางอย่าง

ความเบาบางและการตัดแต่งกิ่ง

แบบจำลองแบบกระจัดกระจายคือแบบจำลองที่มีการตัดการเชื่อมต่อระหว่างตัวดำเนินการ (เช่นเลเยอร์เครือข่ายประสาท) โดยแนะนำค่าศูนย์ให้กับเทนเซอร์พารามิเตอร์

การจัดกลุ่ม

โมเดลแบบคลัสเตอร์คือโมเดลที่พารามิเตอร์ของโมเดลดั้งเดิมถูกแทนที่ด้วยค่าที่ไม่ซ้ำกันจำนวนน้อยกว่า