การจัดกลุ่มน้ำหนัก

_{การเก็บรักษาโดยอาร์ม ML Tooling}

เอกสารนี้ให้ภาพรวมเกี่ยวกับการจัดกลุ่มน้ำหนักจะช่วยให้คุณตรวจสอบว่ามันเหมาะกับกรณีการใช้งานของคุณ

• การดำน้ำที่เหมาะสมเป็นตัวอย่างแบบ end-to-end ดู ตัวอย่างเช่นน้ำหนักการจัดกลุ่ม
• ได้อย่างรวดเร็วพบ APIs ที่คุณต้องการสำหรับกรณีการใช้งานของคุณให้ดูที่ น้ำหนักการจัดกลุ่มคำแนะนำที่ครอบคลุม

ภาพรวม

การจัดกลุ่มหรือการแบ่งปันน้ำหนักช่วยลดจำนวนของค่าน้ำหนักที่ไม่ซ้ำกันในรูปแบบที่นำไปสู่ผลประโยชน์สำหรับการใช้งาน มันกลุ่มแรกน้ำหนักของชั้นเข้าไปในกลุ่มแต่ละ N แล้วหุ้นมูลค่าเซนคลัสเตอร์สำหรับน้ำหนักทั้งหมดที่อยู่ในคลัสเตอร์

เทคนิคนี้นำการปรับปรุงที่ผ่านการบีบอัดรุ่น การสนับสนุนกรอบการทำงานในอนาคตจะสามารถปลดล็อคการปรับปรุงรอยหน่วยความจำที่สามารถสร้างความแตกต่างที่สำคัญสำหรับการปรับใช้โมเดลการเรียนรู้ลึกเกี่ยวกับระบบฝังตัวที่มีทรัพยากร จำกัด

เราได้ทดลองกับการจัดกลุ่มทั่ววิสัยทัศน์และการพูดงาน เราได้เห็นถึง 5x การปรับปรุงในการบีบอัดรุ่นกับการสูญเสียน้อยที่สุดของความถูกต้องตามที่แสดงให้เห็นโดย ผล ดังต่อไปนี้

โปรดทราบว่าการจัดกลุ่มจะให้ประโยชน์สำหรับบิดและหนาแน่นชั้นที่นำหน้าชั้นชุดฟื้นฟูเช่นเดียวกับในการรวมกันกับแกนต่อการโพสต์การฝึกอบรม quantization ลดลง

API เมทริกซ์การทำงานร่วมกัน

ผู้ใช้สามารถใช้การจัดกลุ่มด้วย API ต่อไปนี้:

• อาคารแบบ: tf.keras มีเพียงลำดับและรูปแบบการทำงาน
• รุ่น TensorFlow: 1.x TF สำหรับรุ่น 1.14+ และ 2.x.
  • tf.compat.v1 กับแพคเกจ TF 2.X และ tf.compat.v2 กับแพคเกจ TF 1.X ยังไม่ได้รับการสนับสนุน
• โหมดการดำเนินการ TensorFlow ทั้งกราฟและความกระตือรือร้น

ผล

การจัดหมวดหมู่ภาพ

รุ่นที่ได้รับการฝึกฝนและทดสอบใน ImageNet

จำคำหลัก

รุ่นที่ได้รับการฝึกฝนและทดสอบใน SpeechCommands v0.02

1. อันดับรุ่น Keras เป็นไฟล์ .h5
2. แปลงไฟล์ .h5 เข้า .tflite ใช้ TFLiteConverter.from_keras_model_file()
3. บีบอัดไฟล์ .tflite เข้าไปในซิป

ตัวอย่าง

นอกจากนี้ยังมี การจัดกลุ่มน้ำหนักใน Keras ตัวอย่าง ให้ดูตัวอย่างต่อไปนี้:

• Cluster น้ำหนักของรูปแบบของซีเอ็นเอ็นได้รับการฝึกฝนในชุดข้อมูลหลักจำแนก MNIST ที่เขียนด้วยลายมือ: รหัส

การดำเนินการจัดกลุ่มน้ำหนักจะขึ้นอยู่กับภาคการบีบอัด: บีบอัดลึกโครงข่ายประสาทด้วยการตัดแต่งกิ่ง, การฝึกอบรมและ Quantization Huffman Coding กระดาษ ดูบทที่ 3 หัวข้อการฝึกอบรมและการใช้ร่วม Quantization น้ำหนัก