ตัดน้ำหนักที่ไม่มีนัยสำคัญ

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

เอกสารนี้ให้ภาพรวมเกี่ยวกับการตัดแต่งโมเดลเพื่อช่วยคุณพิจารณาว่าเหมาะสมกับกรณีการใช้งานของคุณอย่างไร

ภาพรวม

การตัดแต่งกิ่งตุ้มน้ำหนักตามขนาดจะค่อยๆ ลดตุ้มน้ำหนักของแบบจำลองในระหว่างกระบวนการฝึกอบรมเพื่อให้เกิดความเบาบางของแบบจำลอง โมเดลแบบกระจายจะบีบอัดได้ง่ายกว่า และเราสามารถข้ามค่าศูนย์ระหว่างการอนุมานเพื่อปรับปรุงเวลาในการตอบสนองได้

เทคนิคนี้นำมาซึ่งการปรับปรุงผ่านการบีบอัดแบบจำลอง ในอนาคต การสนับสนุนเฟรมเวิร์กสำหรับเทคนิคนี้จะช่วยปรับปรุงเวลาแฝง เราได้เห็นการปรับปรุงถึง 6 เท่าในการบีบอัดแบบจำลองโดยสูญเสียความแม่นยำเพียงเล็กน้อย

เทคนิคนี้กำลังได้รับการประเมินในแอปพลิเคชันคำพูดต่างๆ เช่น การรู้จำคำพูดและการแปลงข้อความเป็นคำพูด และได้รับการทดลองในแบบจำลองการมองเห็นและการแปลต่างๆ

เมทริกซ์ความเข้ากันได้ของ API

ผู้ใช้สามารถใช้การตัดแต่งกิ่งกับ API ต่อไปนี้:

  • การสร้างแบบจำลอง: tf.keras เฉพาะรุ่นตามลำดับและแบบใช้งานได้
  • เวอร์ชัน TensorFlow: TF 1.x สำหรับเวอร์ชัน 1.14+ และ 2.x
    • tf.compat.v1 ที่มีแพ็คเกจ TF 2.X และ tf.compat.v2 ที่มีแพ็คเกจ TF 1.X
  • โหมดการดำเนินการ TensorFlow: ทั้งกราฟและความกระตือรือร้น
  • การฝึกอบรมแบบกระจาย: tf.distribute ด้วยการประมวลผลกราฟเท่านั้น

อยู่ในแผนงานของเราที่จะเพิ่มการสนับสนุนในด้านต่อไปนี้:

ผลลัพธ์

การจำแนกรูปภาพ

แบบอย่าง ความแม่นยำ Top-1 ที่ไม่กระจัดกระจาย ความแม่นยำกระจัดกระจายแบบสุ่ม สุ่ม Sparsity โครงสร้างความแม่นยำกระจัดกระจาย โครงสร้าง Sparsity
InceptionV3 78.1% 78.0% 50% 75.8% 2 โดย 4
76.1% 75%
74.6% 87.5%
MobilenetV1 224 71.04% 70.84% 50% 67.35% 2 โดย 4
MobilenetV2 224 71.77% 69.64% 50% 66.75% 2 โดย 4

โมเดลต่างๆ ได้รับการทดสอบบน Imagenet

การแปล

แบบอย่าง ไม่กระจัดกระจาย BLEU เบาบาง BLEU ความเบาบาง
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

โมเดลใช้ชุดข้อมูลภาษาเยอรมันและภาษาอังกฤษ WMT16 โดยมี news-test2013 เป็นชุด dev และ news-test2015 เป็นชุดทดสอบ

รูปแบบการจำคีย์เวิร์ด

DS-CNN-L คือโมเดลการจำคีย์เวิร์ดที่สร้างขึ้นสำหรับอุปกรณ์ Edge สามารถพบได้ใน ที่เก็บตัวอย่าง ของซอฟต์แวร์ ARM

แบบอย่าง ความแม่นยำไม่กระจัดกระจาย โครงสร้างความแม่นยำกระจัดกระจาย (รูปแบบ 2 x 4) ความแม่นยำกระจัดกระจายแบบสุ่ม (เป้าหมายกระจัดกระจาย 50%)
DS-CNN-L 95.23 94.33 94.84

ตัวอย่าง

นอกเหนือจากบทช่วยสอน Prune with Keras ให้ดูตัวอย่างต่อไปนี้:

  • ฝึกโมเดล CNN ในงานการจัดประเภทตัวเลขที่เขียนด้วยลายมือของ MNIST ด้วยการตัดแต่งกิ่ง: code
  • ฝึก LSTM เกี่ยวกับงานการจัดประเภทความเชื่อมั่นของ IMDB ด้วยการตัด: code

สำหรับพื้นหลัง โปรดดูที่ การตัดแต่งหรือไม่ตัดแต่ง: สำรวจประสิทธิภาพของการตัดแต่งกิ่งสำหรับการบีบอัดแบบจำลอง [ กระดาษ ]