หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

การจัดกลุ่มน้ำหนัก

การเก็บรักษาโดยอาร์ม ML Tooling

เอกสารนี้ให้ภาพรวมเกี่ยวกับการจัดกลุ่มน้ำหนักจะช่วยให้คุณตรวจสอบว่ามันเหมาะกับกรณีการใช้งานของคุณ

ภาพรวม

การจัดกลุ่มหรือการแบ่งปันน้ำหนักช่วยลดจำนวนของค่าน้ำหนักที่ไม่ซ้ำกันในรูปแบบที่นำไปสู่ผลประโยชน์สำหรับการใช้งาน มันกลุ่มแรกน้ำหนักของชั้นเข้าไปในกลุ่มแต่ละ N แล้วหุ้นมูลค่าเซนคลัสเตอร์สำหรับน้ำหนักทั้งหมดที่อยู่ในคลัสเตอร์

เทคนิคนี้นำการปรับปรุงที่ผ่านการบีบอัดรุ่น การสนับสนุนกรอบการทำงานในอนาคตจะสามารถปลดล็อคการปรับปรุงรอยหน่วยความจำที่สามารถสร้างความแตกต่างที่สำคัญสำหรับการปรับใช้โมเดลการเรียนรู้ลึกเกี่ยวกับระบบฝังตัวที่มีทรัพยากร จำกัด

เราได้ทดลองกับการจัดกลุ่มทั่ววิสัยทัศน์และการพูดงาน เราได้เห็นถึง 5x การปรับปรุงในการบีบอัดรุ่นกับการสูญเสียน้อยที่สุดของความถูกต้องตามที่แสดงให้เห็นโดย ผล ดังต่อไปนี้

โปรดทราบว่าการจัดกลุ่มจะให้ประโยชน์สำหรับบิดและหนาแน่นชั้นที่นำหน้าชั้นชุดฟื้นฟูเช่นเดียวกับในการรวมกันกับแกนต่อการโพสต์การฝึกอบรม quantization ลดลง

API เมทริกซ์การทำงานร่วมกัน

ผู้ใช้สามารถใช้การจัดกลุ่มด้วย API ต่อไปนี้:

  • อาคารแบบ: tf.keras มีเพียงลำดับและรูปแบบการทำงาน
  • รุ่น TensorFlow: 1.x TF สำหรับรุ่น 1.14+ และ 2.x.
    • tf.compat.v1 กับแพคเกจ TF 2.X และ tf.compat.v2 กับแพคเกจ TF 1.X ยังไม่ได้รับการสนับสนุน
  • โหมดการดำเนินการ TensorFlow ทั้งกราฟและความกระตือรือร้น

ผล

การจัดหมวดหมู่ภาพ

แบบ เป็นต้นฉบับ พัว
Top-1 ความถูกต้อง (%) ขนาดของ .tflite บีบอัด (MB) องค์ประกอบ # กลุ่ม Top-1 ความถูกต้อง (%) ขนาดของ .tflite บีบอัด (MB)
MobileNetV1 71.02 14.96
Selective (last 3 ชั้น Conv2D) 256, 256, 32 70.62 8.42
เต็ม (ทุกชั้น Conv2D) 64 66.07 2.98
MobileNetV2 72.29 12.90
Selective (last 3 ชั้น Conv2D) 256, 256, 32 72.31 7.00
เต็ม (ทุกชั้น Conv2D) 32 69.33 2.60

รุ่นที่ได้รับการฝึกฝนและทดสอบใน ImageNet

จำคำหลัก

แบบ เป็นต้นฉบับ พัว
Top-1 ความถูกต้อง (%) ขนาดของ .tflite บีบอัด (MB) องค์ประกอบ # กลุ่ม Top-1 ความถูกต้อง (%) ขนาดของ .tflite บีบอัด (MB)
DS-CNN-L 95.03 1.5 เต็ม 32 94.71 0.3

รุ่นที่ได้รับการฝึกฝนและทดสอบใน SpeechCommands v0.02

  1. อันดับรุ่น Keras เป็นไฟล์ .h5
  2. แปลงไฟล์ .h5 เข้า .tflite ใช้ TFLiteConverter.from_keras_model_file()
  3. บีบอัดไฟล์ .tflite เข้าไปในซิป

ตัวอย่าง

นอกจากนี้ยังมี การจัดกลุ่มน้ำหนักใน Keras ตัวอย่าง ให้ดูตัวอย่างต่อไปนี้:

  • Cluster น้ำหนักของรูปแบบของซีเอ็นเอ็นได้รับการฝึกฝนในชุดข้อมูลหลักจำแนก MNIST ที่เขียนด้วยลายมือ: รหัส

การดำเนินการจัดกลุ่มน้ำหนักจะขึ้นอยู่กับภาคการบีบอัด: บีบอัดลึกโครงข่ายประสาทด้วยการตัดแต่งกิ่ง, การฝึกอบรมและ Quantization Huffman Coding กระดาษ ดูบทที่ 3 หัวข้อการฝึกอบรมและการใช้ร่วม Quantization น้ำหนัก