หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

กรอบการเรียนรู้โครงสร้างประสาท

Neural Structured Learning (NSL) มุ่งเน้นไปที่การฝึกอบรมเครือข่ายประสาทลึกโดยใช้ประโยชน์จากสัญญาณที่มีโครงสร้าง (เมื่อมี) พร้อมกับอินพุตคุณสมบัติ แนะนำโดย Bui et al. (WSDM'18) สัญญาณที่มีโครงสร้างเหล่านี้จะใช้ในการฝึกอบรมโครงข่ายประสาทเป็นปกติบังคับให้แบบจำลองเพื่อเรียนรู้การคาดการณ์ที่แม่นยำ (โดยการลดการสูญเสียการดูแล) ในขณะเดียวกันก็รักษาความคล้ายคลึงกันของโครงสร้างอินพุต ดูรูปด้านล่าง) เทคนิคนี้เป็นแบบทั่วไปและสามารถนำไปใช้กับสถาปัตยกรรมระบบประสาทตามอำเภอใจ (เช่น NN-Feed-forward, Convolutional NNs และ Recurrent NNs)

แนวคิดของ NSL

โปรดทราบว่าสมการการสูญเสียเพื่อนบ้านทั่วไปมีความยืดหยุ่นและสามารถมีรูปแบบอื่นนอกเหนือจากที่แสดงข้างต้น ตัวอย่างเช่นเรายังสามารถเลือก

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

เป็นการสูญเสียเพื่อนบ้านซึ่งคำนวณระยะห่างระหว่างความจริงบนพื้นดิน

$$ $$ y_i

และคำทำนายจากเพื่อนบ้าน

$$ g _ \ theta (x_j) $$

. โดยทั่วไปจะใช้ในการเรียนรู้แบบไม่เป็นทางการ (Goodfellow et al., ICLR'15) ดังนั้น NSL จึงสรุปการ เรียนรู้กราฟประสาท หากเพื่อนบ้านแสดงด้วยกราฟอย่างชัดเจนและเพื่อ การเรียนรู้จากการล่วงละเมิด หากเพื่อนบ้านถูกชักนำโดยนัยโดยการก่อกวนโดยฝ่ายตรงข้าม

เวิร์กโฟลว์โดยรวมสำหรับการเรียนรู้โครงสร้างประสาทมีภาพประกอบด้านล่าง ลูกศรสีดำแสดงถึงขั้นตอนการฝึกอบรมทั่วไปและลูกศรสีแดงเป็นตัวแทนเวิร์กโฟลว์ใหม่ตามที่ NSL นำเสนอเพื่อใช้ประโยชน์จากสัญญาณเชิงโครงสร้าง ขั้นแรกให้เพิ่มตัวอย่างการฝึกอบรมเพื่อรวมสัญญาณเชิงโครงสร้าง เมื่อสัญญาณที่มีโครงสร้างไม่ได้ให้ไว้อย่างชัดเจนพวกเขาสามารถสร้างหรือเหนี่ยวนำ (หลังนำไปใช้กับการเรียนรู้ของฝ่ายตรงข้าม) ถัดไปตัวอย่างการฝึกอบรมเพิ่มเติม (รวมทั้งตัวอย่างดั้งเดิมและเพื่อนบ้านที่เกี่ยวข้อง) จะถูกป้อนไปยังเครือข่ายประสาทเทียมสำหรับการคำนวณงานแต่งงาน ระยะห่างระหว่างการฝังตัวอย่างและการฝังของเพื่อนบ้านนั้นจะคำนวณและใช้เป็นการสูญเสียเพื่อนบ้านซึ่งถือว่าเป็นระยะการทำให้เป็นมาตรฐานและเพิ่มการสูญเสียครั้งสุดท้าย สำหรับการทำให้เป็นมาตรฐานตามเพื่อนบ้านชัดเจนเรามักคำนวณการสูญเสียเพื่อนบ้านเป็นระยะทางระหว่างการฝังตัวอย่างและการฝังเพื่อนบ้าน อย่างไรก็ตามเลเยอร์ของโครงข่ายประสาทอาจใช้เพื่อคำนวณการสูญเสียเพื่อนบ้าน ในทางกลับกันสำหรับการทำให้เป็นมาตรฐานตามเพื่อนบ้าน (ฝ่ายตรงข้าม) เราคำนวณการสูญเสียเพื่อนบ้านเป็นระยะทางระหว่างการทำนายผลลัพธ์ของเพื่อนบ้านฝ่ายตรงข้ามที่เกิดขึ้นและฉลากความจริงภาคพื้นดิน

เวิร์กโฟลว์ NSL

ทำไมต้องใช้ NSL

NSL นำข้อดีดังต่อไปนี้:

  • ความแม่นยำที่สูงขึ้น : สัญญาณที่มีโครงสร้างในกลุ่มตัวอย่างสามารถให้ข้อมูลที่ไม่สามารถใช้งานได้ในอินพุตของคุณสมบัติ ดังนั้นวิธีการฝึกอบรมร่วมกัน (ที่มีทั้งสัญญาณที่มีโครงสร้างและคุณสมบัติ) ได้รับการแสดงที่ดีกว่าวิธีการที่มีอยู่จำนวนมาก (ที่ต้องพึ่งพาการฝึกอบรมที่มีคุณสมบัติเท่านั้น) เกี่ยวกับความหลากหลายของงานเช่นการจัดหมวดหมู่เอกสารและการจำแนกความตั้งใจความหมาย ( Bui et al, ., WSDM'18 & Kipf et al., ICLR'17 )
  • ความทนทาน : แบบจำลองที่ได้รับการฝึกอบรมพร้อมกับตัวอย่างที่เป็นปฏิปักษ์ได้แสดงให้เห็นถึงความทนทานต่อความยุ่งเหยิงที่ได้รับการออกแบบมาสำหรับการทำนายหรือการจำแนกประเภทของโมเดลที่ทำให้เข้าใจผิด ( Goodfellow et al., ICLR'15 และ Miyato et al., ICLR'16 ) เมื่อจำนวนตัวอย่างการฝึกอบรมมีน้อยการฝึกอบรมที่มีตัวอย่างฝ่ายตรงข้ามจะช่วยปรับปรุงความแม่นยำของแบบจำลอง ( Tsipras et al., ICLR'19 )
  • ข้อมูลที่มีป้ายกำกับน้อยลง : NSL ช่วยให้เครือข่ายประสาทเทียมสามารถควบคุมข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับซึ่งจะขยายกระบวนทัศน์การเรียนรู้ไปสู่การเรียนรู้ แบบกึ่งภายใต้การดูแล โดยเฉพาะ NSL อนุญาตให้เครือข่ายฝึกอบรมโดยใช้ข้อมูลที่มีป้ายกำกับในการตั้งค่าภายใต้การดูแลและในขณะเดียวกันก็ผลักดันเครือข่ายให้เรียนรู้การแสดงที่คล้ายกันที่ซ่อนอยู่สำหรับ "ตัวอย่างเพื่อนบ้าน" ที่อาจมีหรือไม่มีป้ายกำกับ เทคนิคนี้แสดงให้เห็นถึงคำมั่นสัญญาที่ดีสำหรับการปรับปรุงความแม่นยำของแบบจำลองเมื่อจำนวนข้อมูลที่ติดฉลากมีขนาดค่อนข้างเล็ก ( Bui et al., WSDM'18 และ Miyato et al., ICLR'16 )

บทช่วยสอนทีละขั้นตอน

เพื่อให้ได้รับประสบการณ์ตรงกับการเรียนรู้แบบโครงสร้างประสาทเรามีแบบฝึกหัดสามบทที่ครอบคลุมสถานการณ์ต่างๆที่อาจมีการให้สัญญาณเชิงโครงสร้างอย่างชัดเจนชักนำหรือสร้าง: