ช่วยปกป้อง Great Barrier Reef กับ TensorFlow บน Kaggle เข้าร่วมท้าทาย

ตัดน้ำหนักที่ไม่มีนัยสำคัญ

เอกสารนี้ให้ภาพรวมเกี่ยวกับการตัดแต่งโมเดลเพื่อช่วยคุณพิจารณาว่าเหมาะสมกับกรณีการใช้งานของคุณอย่างไร

ภาพรวม

การตัดแต่งกิ่งตุ้มน้ำหนักตามขนาดจะค่อยๆ ลดตุ้มน้ำหนักของแบบจำลองในระหว่างกระบวนการฝึกอบรมเพื่อให้เกิดความเบาบางของแบบจำลอง โมเดลแบบกระจายจะบีบอัดได้ง่ายกว่า และเราสามารถข้ามค่าศูนย์ระหว่างการอนุมานเพื่อปรับปรุงเวลาในการตอบสนองได้

เทคนิคนี้นำมาซึ่งการปรับปรุงผ่านการบีบอัดแบบจำลอง ในอนาคต การสนับสนุนเฟรมเวิร์กสำหรับเทคนิคนี้จะช่วยปรับปรุงเวลาแฝง เราได้เห็นการปรับปรุงถึง 6 เท่าในการบีบอัดแบบจำลองโดยสูญเสียความแม่นยำเพียงเล็กน้อย

เทคนิคนี้กำลังได้รับการประเมินในแอปพลิเคชันคำพูดต่างๆ เช่น การรู้จำคำพูดและการแปลงข้อความเป็นคำพูด และได้รับการทดลองในแบบจำลองการมองเห็นและการแปลต่างๆ

เมทริกซ์ความเข้ากันได้ของ API

ผู้ใช้สามารถใช้การตัดแต่งกิ่งด้วย API ต่อไปนี้:

  • อาคารแบบ: tf.keras มีเพียงลำดับและรูปแบบการทำงาน
  • เวอร์ชัน TensorFlow: TF 1.x สำหรับเวอร์ชัน 1.14+ และ 2.x
    • tf.compat.v1 กับแพคเกจ TF 2.X และ tf.compat.v2 กับแพคเกจ TF 1.X ยังไม่ได้รับการสนับสนุน
  • โหมดการดำเนินการ TensorFlow: ทั้งกราฟและความกระตือรือร้น
  • การฝึกอบรมที่กระจายได้: tf.distribute กับการดำเนินกราฟเท่านั้น

อยู่ในแผนงานของเราที่จะเพิ่มการสนับสนุนในด้านต่อไปนี้:

ผล

การจำแนกรูปภาพ

แบบอย่าง ความแม่นยำ Top-1 ที่ไม่กระจัดกระจาย ความแม่นยำกระจัดกระจายแบบสุ่ม สุ่ม Sparsity โครงสร้างความแม่นยำกระจัดกระจาย โครงสร้าง Sparsity
InceptionV3 78.1% 78.0% 50% 75.8% 2 โดย 4
76.1% 75%
74.6% 87.5%
MobilenetV1 224 71.04% 70.84% 50% 67.35% 2 โดย 4
MobilenetV2 224 71.77% 69.64% 50% 66.75% 2 โดย 4

โมเดลต่างๆ ได้รับการทดสอบบน Imagenet

การแปล

แบบอย่าง ไม่กระจัดกระจาย BLEU เบาบาง BLEU ความเบาบาง
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

โมเดลใช้ชุดข้อมูลภาษาเยอรมันและภาษาอังกฤษ WMT16 โดยมี news-test2013 เป็นชุด dev และ news-test2015 เป็นชุดทดสอบ

รูปแบบการจำคีย์เวิร์ด

DS-CNN-L คือโมเดลการจำคีย์เวิร์ดที่สร้างขึ้นสำหรับอุปกรณ์ Edge มันสามารถพบได้ในซอฟแวร์ของ ARM ที่เก็บตัวอย่าง

แบบอย่าง ความแม่นยำไม่กระจัดกระจาย โครงสร้างความแม่นยำกระจัดกระจาย (รูปแบบ 2 x 4) ความแม่นยำกระจัดกระจายแบบสุ่ม (เป้าหมายเบาบาง 50%)
DS-CNN-L 95.23 94.33 94.84

ตัวอย่าง

นอกจากนี้ยังมี ลูกพรุนกับ Keras กวดวิชา, ดูตัวอย่างต่อไปนี้:

  • รถไฟรูปแบบของซีเอ็นเอ็นใน MNIST ที่เขียนด้วยลายมือหลักงานการจัดหมวดหมู่ที่มีการตัดแต่งกิ่ง: รหัส
  • รถไฟ LSTM ไอเอ็มเชื่อมั่นของงานการจัดหมวดหมู่ที่มีการตัดแต่งกิ่ง: รหัส

สำหรับพื้นหลังดูการตัดหรือไม่ตัด: การสำรวจประสิทธิภาพของการตัดแต่งกิ่งสำหรับการบีบอัดรุ่นได้ [ กระดาษ ]