หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

น้ำหนักที่ไม่มีนัยสำคัญ Trim

การเก็บรักษาโดยการเพิ่มประสิทธิภาพ TensorFlow รุ่น

เอกสารนี้ให้ภาพรวมเกี่ยวกับรูปแบบการตัดแต่งกิ่งเพื่อช่วยให้คุณตรวจสอบว่ามันเหมาะกับกรณีการใช้งานของคุณ

ภาพรวม

น้ำหนักขนาดตามการตัดแต่งกิ่งค่อยๆเลขศูนย์ออกน้ำหนักรุ่นในระหว่างขั้นตอนการฝึกอบรมเพื่อให้บรรลุ sparsity รุ่น รุ่นเบาบางจะง่ายต่อการบีบอัดและเราสามารถข้ามศูนย์ในระหว่างการอนุมานสำหรับการปรับปรุงแฝง

เทคนิคนี้นำการปรับปรุงที่ผ่านการบีบอัดรุ่น ในอนาคตการสนับสนุนกรอบการทำงานสำหรับเทคนิคนี้จะช่วยให้การปรับปรุงแฝง เราได้เห็นถึง 6x การปรับปรุงในการบีบอัดรุ่นกับการสูญเสียน้อยที่สุดของความถูกต้อง

เทคนิคที่จะถูกประเมินในการใช้คำพูดต่างๆเช่นการรู้จำเสียงและข้อความเป็นคำพูดและได้รับการทดลองทั่ววิสัยทัศน์และการแปลต่างๆรุ่น

API เข้ากันได้ของเมทริกซ์

ผู้ใช้สามารถใช้การตัดแต่งกิ่งกับ API ต่อไปนี้:

  • อาคารแบบ: tf.keras มีเพียงลำดับและรูปแบบการทำงาน
  • รุ่น TensorFlow: 1.x TF สำหรับรุ่น 1.14+ และ 2.x.
    • tf.compat.v1 กับแพคเกจ TF 2.X และ tf.compat.v2 กับแพคเกจ TF 1.X ยังไม่ได้รับการสนับสนุน
  • โหมดการดำเนินการ TensorFlow ทั้งกราฟและความกระตือรือร้น
  • การฝึกอบรมที่กระจายได้: tf.distribute กับการดำเนินกราฟเท่านั้น

มันอยู่ในแผนงานของเราจะเพิ่มการสนับสนุนในพื้นที่ดังต่อไปนี้:

ผล

การจัดหมวดหมู่ภาพ

แบบ Non-เบาบาง Top-1 ความถูกต้อง ความถูกต้องเบาบาง Sparsity
InceptionV3 78.1% 78.0% 50%
76.1% 75%
74.6% 87.5%
MobilenetV1 224 71.04% 70.84% 50%

รุ่นที่ได้รับการทดสอบเกี่ยวกับ Imagenet

การแปล

แบบ Non-เบาบาง BLEU เบาบาง BLEU Sparsity
GNMT EN-DE 26.77 26.86 80%
26.52 85%
26.19 90%
GNMT DE-EN 29.47 29.50 80%
29.24 85%
28.81 90%

รุ่นที่ใช้ WMT16 เยอรมันและชุดภาษาอังกฤษกับข่าว test2013 เป็นชุด dev และข่าว test2015 เป็นชุดทดสอบ

ตัวอย่าง

นอกจากนี้ยังมี ลูกพรุนกับ Keras กวดวิชา, ดูตัวอย่างต่อไปนี้:

  • รถไฟรูปแบบของซีเอ็นเอ็นใน MNIST ที่เขียนด้วยลายมือหลักงานการจัดหมวดหมู่ที่มีการตัดแต่งกิ่ง: รหัส
  • รถไฟ LSTM ไอเอ็มเชื่อมั่นของงานการจัดหมวดหมู่ที่มีการตัดแต่งกิ่ง: รหัส

สำหรับพื้นหลังดูการตัดหรือไม่ตัด: การสำรวจประสิทธิภาพของการตัดแต่งกิ่งสำหรับการบีบอัดรุ่นได้ [ กระดาษ ]