หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

The Neural Structured Learning Framework

Neural Structured Learning (NSL) มุ่งเน้นไปที่การฝึกโครงข่ายประสาทเทียมในระดับลึกโดยใช้ประโยชน์จากสัญญาณที่มีโครงสร้าง (เมื่อมี) พร้อมกับอินพุตคุณลักษณะ ตามที่ Bui et al. (WSDM'18) สัญญาณที่มีโครงสร้างเหล่านี้ใช้เพื่อทำให้การฝึกอบรมของเครือข่ายประสาทเทียมเป็นประจำโดยบังคับให้แบบจำลองเรียนรู้การคาดการณ์ที่แม่นยำ (โดยการลดการสูญเสียภายใต้การดูแล) ในขณะเดียวกันก็รักษาความคล้ายคลึงกันของโครงสร้างอินพุต (โดยการลดการสูญเสียเพื่อนบ้านให้น้อยที่สุด ดูรูปด้านล่าง) เทคนิคนี้เป็นเทคนิคทั่วไปและสามารถนำไปใช้กับสถาปัตยกรรมประสาทตามอำเภอใจ (เช่น Feed-forward NNs, Convolutional NNs และ Recurrent NNs)

แนวคิด NSL

โปรดทราบว่าสมการการสูญเสียเพื่อนบ้านโดยทั่วไปมีความยืดหยุ่นและสามารถมีรูปแบบอื่น ๆ นอกเหนือจากที่แสดงไว้ด้านบน ตัวอย่างเช่นเรายังสามารถเลือก

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

เป็นการสูญเสียเพื่อนบ้านซึ่งคำนวณระยะห่างระหว่างความจริงพื้นดิน

$$y_i$$

และคำทำนายจากเพื่อนบ้าน

$$g_\theta(x_j)$$

. สิ่งนี้มักใช้ในการเรียนรู้ที่เป็นปฏิปักษ์ (Goodfellow et al., ICLR'15) ดังนั้น NSL จึงสรุปให้กับ Neural Graph Learning หากเพื่อนบ้านถูกแสดงอย่างชัดเจนด้วยกราฟและต่อ Adversarial Learning หากเพื่อนบ้านถูกชักจูงโดยปริยายโดยการก่อกวนในทางตรงข้าม

ขั้นตอนการทำงานโดยรวมสำหรับ Neural Structured Learning แสดงไว้ด้านล่าง ลูกศรสีดำแสดงถึงเวิร์กโฟลว์การฝึกอบรมแบบเดิมและลูกศรสีแดงแสดงถึงขั้นตอนการทำงานใหม่ตามที่ NSL แนะนำเพื่อใช้ประโยชน์จากสัญญาณที่มีโครงสร้าง ขั้นแรกให้เพิ่มตัวอย่างการฝึกอบรมเพื่อรวมสัญญาณที่มีโครงสร้าง เมื่อสัญญาณที่มีโครงสร้างไม่ได้ระบุไว้อย่างชัดเจนสัญญาณเหล่านี้สามารถสร้างขึ้นหรือทำให้เกิดขึ้นได้ (สัญญาณหลังนี้ใช้กับการเรียนรู้ของฝ่ายตรงข้าม) จากนั้นตัวอย่างการฝึกเสริม (รวมทั้งตัวอย่างต้นฉบับและเพื่อนบ้านที่เกี่ยวข้อง) จะถูกป้อนเข้ากับโครงข่ายประสาทเทียมเพื่อคำนวณการฝัง ระยะห่างระหว่างการฝังของตัวอย่างและการฝังของเพื่อนบ้านจะถูกคำนวณและใช้เป็นการสูญเสียเพื่อนบ้านซึ่งถือเป็นเงื่อนไขการทำให้เป็นมาตรฐานและบวกกับการสูญเสียขั้นสุดท้าย สำหรับการจัดลำดับตามเพื่อนบ้านอย่างชัดเจนโดยทั่วไปเราจะคำนวณการสูญเสียเพื่อนบ้านเป็นระยะห่างระหว่างการฝังของตัวอย่างและการฝังของเพื่อนบ้าน อย่างไรก็ตามอาจใช้ชั้นใด ๆ ของเครือข่ายประสาทเทียมเพื่อคำนวณการสูญเสียเพื่อนบ้าน ในทางกลับกันสำหรับการทำให้เป็นมาตรฐานตามเพื่อนบ้านที่เกิดขึ้น (ฝ่ายตรงข้าม) เราจะคำนวณการสูญเสียเพื่อนบ้านเป็นระยะห่างระหว่างการทำนายผลลัพธ์ของเพื่อนบ้านที่เป็นปฏิปักษ์ที่เกิดขึ้นและป้ายกำกับความจริงพื้นดิน

ขั้นตอนการทำงาน NSL

ทำไมต้องใช้ NSL?

NSL นำข้อดีดังต่อไปนี้:

  • ความแม่นยำที่สูงขึ้น : สัญญาณที่มีโครงสร้างระหว่างกลุ่มตัวอย่างสามารถให้ข้อมูลที่ไม่มีอยู่ในอินพุตคุณลักษณะเสมอไป ดังนั้นแนวทางการฝึกอบรมร่วมกัน (พร้อมทั้งสัญญาณที่มีโครงสร้างและคุณสมบัติ) จึงแสดงให้เห็นว่ามีประสิทธิภาพดีกว่าวิธีการที่มีอยู่จำนวนมาก (ซึ่งอาศัยการฝึกอบรมที่มีคุณลักษณะเท่านั้น) ในงานที่หลากหลายเช่นการจัดประเภทเอกสารและการจำแนกเจตนาเชิงความหมาย ( Bui et al ., WSDM'18 & Kipf et al., ICLR'17 )
  • ความทนทาน : แบบจำลองที่ได้รับการฝึกฝนด้วยตัวอย่างที่เป็นปฏิปักษ์แสดงให้เห็นว่ามีประสิทธิภาพในการต่อต้านการก่อกวนในทางตรงข้ามที่ออกแบบมาเพื่อทำให้การคาดเดาหรือการจำแนกแบบจำลองเข้าใจผิด ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ) เมื่อตัวอย่างการฝึกอบรมมีจำนวนน้อยการฝึกกับตัวอย่างฝ่ายตรงข้ามยังช่วยปรับปรุงความแม่นยำของแบบจำลอง ( Tsipras et al., ICLR'19 )
  • ต้องการข้อมูลที่มีป้ายกำกับน้อยกว่า : NSL ช่วยให้เครือข่ายประสาทเทียมสามารถควบคุมทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับซึ่งขยายกระบวนทัศน์การเรียนรู้ไปสู่การเรียนรู้ แบบกึ่งมีผู้ดูแล โดยเฉพาะ NSL อนุญาตให้เครือข่ายฝึกอบรมโดยใช้ข้อมูลที่มีป้ายกำกับในการตั้งค่าภายใต้การดูแลและในขณะเดียวกันก็ขับเคลื่อนเครือข่ายให้เรียนรู้การแสดงที่ซ่อนอยู่ที่คล้ายกันสำหรับ "ตัวอย่างเพื่อนบ้าน" ที่อาจมีหรือไม่มีป้ายกำกับ เทคนิคนี้แสดงให้เห็นถึงคำมั่นสัญญาที่ดีในการปรับปรุงความแม่นยำของโมเดลเมื่อข้อมูลที่ติดฉลากมีจำนวนค่อนข้างน้อย ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 )

บทแนะนำทีละขั้นตอน

เพื่อให้ได้ประสบการณ์จริงกับ Neural Structured Learning เรามีบทช่วยสอนสามบทที่ครอบคลุมสถานการณ์ต่างๆที่อาจมีการกำหนดสัญญาณที่มีโครงสร้างอย่างชัดเจนกระตุ้นหรือสร้างขึ้น: