อัปเดต: มิถุนายน 2021
ชุดเครื่องมือเพิ่มประสิทธิภาพโมเดล (MOT) ของ TensorFlow มีการใช้กันอย่างแพร่หลายในการแปลง/เพิ่มประสิทธิภาพโมเดล TensorFlow เป็นโมเดล TensorFlow Lite ที่มีขนาดเล็กลง ประสิทธิภาพดีขึ้น และความแม่นยำที่ยอมรับได้เพื่อเรียกใช้บนอุปกรณ์เคลื่อนที่และอุปกรณ์ IoT ขณะนี้เรากำลังดำเนินการเพื่อขยายเทคนิคและเครื่องมือ MOT นอกเหนือจาก TensorFlow Lite เพื่อรองรับ TensorFlow SavedModel เช่นกัน
ข้อมูลต่อไปนี้แสดงถึงภาพรวมระดับสูงของแผนงานของเรา คุณควรทราบว่าแผนงานนี้อาจเปลี่ยนแปลงได้ตลอดเวลา และลำดับด้านล่างไม่ได้สะท้อนถึงลำดับความสำคัญประเภทใดๆ เราขอแนะนำให้คุณแสดงความคิดเห็นในแผนงานของเราและให้ข้อเสนอแนะใน กลุ่มสนทนา
การหาปริมาณ
TensorFlow Lite
- การหาปริมาณหลังการฝึกอบรมแบบเลือกเพื่อแยกบางเลเยอร์ออกจากการหาปริมาณ
- โปรแกรมดีบักเกอร์เชิงปริมาณเพื่อตรวจสอบการสูญเสียข้อผิดพลาดเชิงปริมาณต่อเลเยอร์
- การใช้การฝึกอบรมที่คำนึงถึงเชิงปริมาณกับโมเดลที่ครอบคลุมมากขึ้น เช่น TensorFlow Model Garden
- การปรับปรุงคุณภาพและประสิทธิภาพสำหรับช่วงไดนามิกหลังการฝึก การหาปริมาณ
เทนเซอร์โฟลว์
- การหาปริมาณหลังการฝึกอบรม (bf16 * int8 dynamic range)
- การฝึกอบรมการรับรู้เชิงปริมาณ ((bf16 * int8 น้ำหนักเฉพาะกับปริมาณปลอม)
- การหาปริมาณหลังการฝึกอบรมแบบเลือกเพื่อแยกบางเลเยอร์ออกจากการหาปริมาณ
- โปรแกรมดีบักเกอร์เชิงปริมาณเพื่อตรวจสอบการสูญเสียข้อผิดพลาดเชิงปริมาณต่อเลเยอร์
ความเบาบาง
TensorFlow Lite
- รองรับการดำเนินการแบบจำลองแบบกระจัดกระจายสำหรับโมเดลเพิ่มเติม
- กำหนดเป้าหมายการเขียนที่ทราบสำหรับ Sparsity
- ขยายชุดปฏิบัติการแบบกระจัดกระจายด้วยเคอร์เนล x86 ที่มีประสิทธิภาพ
เทนเซอร์โฟลว์
- การสนับสนุนแบบกระจายใน TensorFlow
เทคนิคการบีบอัดแบบเรียงซ้อน
- การหาปริมาณ + การบีบอัดเทนเซอร์ + Sparsity: สาธิตเทคนิคทั้ง 3 ที่ทำงานร่วมกัน
การบีบอัด
- API การบีบอัดเทนเซอร์เพื่อช่วยให้นักพัฒนาอัลกอริธึมการบีบอัดใช้อัลกอริธึมการบีบอัดโมเดลของตนเอง (เช่น การจัดกลุ่มน้ำหนัก) รวมถึงการจัดหาวิธีมาตรฐานในการทดสอบ/เกณฑ์มาตรฐาน