กรอบการเรียนรู้โครงสร้างประสาท

Neural Structured Learning (NSL) มุ่งเน้นไปที่การฝึกอบรมเครือข่ายประสาทเทียมระดับลึกโดยใช้ประโยชน์จากสัญญาณที่มีโครงสร้าง (ถ้ามี) พร้อมกับอินพุตคุณสมบัติ ตามที่แนะนำโดย Bui et al. (WSDM'18) สัญญาณที่มีโครงสร้างเหล่านี้ใช้เพื่อทำให้การฝึกอบรมของโครงข่ายประสาทเทียมเป็นปกติ บังคับให้แบบจำลองเรียนรู้การทำนายที่แม่นยำ (โดยลดการสูญเสียภายใต้การดูแลให้น้อยที่สุด) ในขณะเดียวกันก็รักษาความคล้ายคลึงของโครงสร้างอินพุต (โดยลดการสูญเสียเพื่อนบ้านให้น้อยที่สุด) ดูรูปด้านล่าง) เทคนิคนี้เป็นเทคนิคทั่วไปและสามารถนำไปใช้กับสถาปัตยกรรมประสาทโดยพลการ (เช่น Feed-forward NNs, Convolutional NNs และ Recurrent NNs)

แนวคิด NSL

โปรดทราบว่าสมการการสูญเสียเพื่อนบ้านทั่วไปนั้นยืดหยุ่นและสามารถมีรูปแบบอื่นนอกเหนือจากที่แสดงด้านบน ตัวอย่างเช่น เรายังสามารถเลือก\(\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))\) ให้เป็น Neighbor Loss ซึ่งคำนวณระยะห่างระหว่างความจริงพื้น \(y_i\)และการคาดคะเนจากเพื่อนบ้าน \(g_\theta(x_j)\)โดยทั่วไปจะใช้ในการเรียนรู้ฝ่ายตรงข้าม (Goodfellow et al., ICLR'15) ดังนั้น NSL จึงสรุปถึง Neural Graph Learning หากเพื่อนบ้านแสดงกราฟอย่างชัดเจน และการ เรียนรู้จากฝ่ายตรงข้าม หากเพื่อนบ้านถูกชักนำโดยนัยจากการรบกวนจากฝ่ายตรงข้าม

เวิร์กโฟลว์โดยรวมสำหรับ Neural Structured Learning มีภาพประกอบด้านล่าง ลูกศรสีดำแสดงถึงเวิร์กโฟลว์การฝึกอบรมทั่วไป และลูกศรสีแดงแสดงถึงเวิร์กโฟลว์ใหม่ตามที่ NSL นำเสนอเพื่อใช้ประโยชน์จากสัญญาณที่มีโครงสร้าง ขั้นแรก เราเพิ่มตัวอย่างการฝึกอบรมเพื่อรวมสัญญาณที่มีโครงสร้าง เมื่อไม่ได้ให้สัญญาณที่มีโครงสร้างชัดเจน สัญญาณเหล่านี้สามารถสร้างหรือเหนี่ยวนำได้ (อย่างหลังใช้กับการเรียนรู้ของฝ่ายตรงข้าม) ถัดไป ตัวอย่างการฝึกอบรมเสริม (รวมทั้งตัวอย่างดั้งเดิมและตัวอย่างเพื่อนบ้านที่เกี่ยวข้อง) จะถูกป้อนไปยังโครงข่ายประสาทเทียมเพื่อคำนวณการฝัง ระยะห่างระหว่างการฝังตัวอย่างกับการฝังของเพื่อนบ้านคำนวณและใช้เป็นการสูญเสียเพื่อนบ้าน ซึ่งถือเป็นระยะการทำให้เป็นมาตรฐานและบวกเข้ากับการสูญเสียขั้นสุดท้าย สำหรับการทำให้เป็นมาตรฐานตามเพื่อนบ้านอย่างชัดเจน เรามักจะคำนวณการสูญเสียเพื่อนบ้านเป็นระยะห่างระหว่างการฝังตัวอย่างกับการฝังของเพื่อนบ้าน อย่างไรก็ตาม อาจใช้เลเยอร์ใดๆ ของโครงข่ายประสาทเทียมเพื่อคำนวณการสูญเสียเพื่อนบ้าน ในทางกลับกัน สำหรับการทำให้เป็นมาตรฐานตามเพื่อนบ้านที่ถูกเหนี่ยวนำ (ปฏิปักษ์) เราคำนวณการสูญเสียเพื่อนบ้านเป็นระยะห่างระหว่างการทำนายผลลัพธ์ของเพื่อนบ้านที่เป็นปฏิปักษ์ที่ถูกเหนี่ยวนำและป้ายกำกับความจริงภาคพื้นดิน

เวิร์กโฟลว์ NSL

ทำไมต้องใช้ NSL?

NSL นำข้อดีดังต่อไปนี้:

  • ความแม่นยำที่สูงขึ้น : สัญญาณที่มีโครงสร้างในกลุ่มตัวอย่างสามารถให้ข้อมูลที่ไม่ได้มีอยู่ในอินพุตคุณลักษณะเสมอไป ดังนั้นแนวทางการฝึกร่วม (ที่มีทั้งสัญญาณที่มีโครงสร้างและคุณลักษณะ) ได้แสดงให้เห็นแล้วว่ามีประสิทธิภาพเหนือกว่าวิธีการที่มีอยู่มากมาย (ที่อาศัยการฝึกอบรมที่มีคุณลักษณะเท่านั้น) ในงานที่หลากหลาย เช่น การจัดประเภทเอกสารและการจัดประเภทเจตนาเชิงความหมาย ( Bui et al ., WSDM'18 & Kipf และคณะ, ICLR'17 )
  • ความทนทาน : แบบจำลองที่ได้รับการฝึกฝนด้วยตัวอย่างที่เป็นปฏิปักษ์ได้รับการพิสูจน์แล้วว่าแข็งแกร่งในการต่อต้านการรบกวนจากฝ่ายตรงข้ามที่ออกแบบมาเพื่อทำให้การคาดการณ์หรือการจัดหมวดหมู่ของแบบจำลองเข้าใจผิด ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ) เมื่อจำนวนตัวอย่างการฝึกมีน้อย การฝึกกับตัวอย่างที่เป็นปฏิปักษ์ก็ช่วยปรับปรุงความแม่นยำของแบบจำลองด้วย ( Tsipras et al., ICLR'19 )
  • ต้องการข้อมูลที่ติดป้ายกำกับน้อยกว่า : NSL ช่วยให้โครงข่ายประสาทเทียมควบคุมทั้งข้อมูลที่ติดป้ายกำกับและไม่ติดป้ายกำกับ ซึ่งขยายกระบวนทัศน์การเรียนรู้ไปสู่การเรียนรู้ แบบกึ่งควบคุมดูแล โดยเฉพาะอย่างยิ่ง NSL อนุญาตให้เครือข่ายฝึกอบรมโดยใช้ข้อมูลที่มีป้ายกำกับเช่นเดียวกับการตั้งค่าภายใต้การดูแล และในขณะเดียวกันก็ขับเคลื่อนเครือข่ายเพื่อเรียนรู้การเป็นตัวแทนที่ซ่อนอยู่ที่คล้ายกันสำหรับ "ตัวอย่างเพื่อนบ้าน" ที่อาจมีหรือไม่มีป้ายกำกับ เทคนิคนี้แสดงให้เห็นสัญญาที่ดีในการปรับปรุงความแม่นยำของแบบจำลองเมื่อปริมาณของข้อมูลที่ติดฉลากค่อนข้างน้อย ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 )

บทช่วยสอนทีละขั้นตอน

เพื่อให้ได้ประสบการณ์ตรงกับ Neural Structured Learning เรามีบทช่วยสอนที่ครอบคลุมสถานการณ์ต่างๆ ที่อาจให้ สร้าง หรือชักนำสัญญาณที่มีโครงสร้างอย่างชัดเจน นี่คือบางส่วน:

ตัวอย่างและบทช่วยสอนเพิ่มเติมสามารถพบได้ในไดเร็กทอรี ตัวอย่าง ของที่เก็บ GitHub ของเรา