Trang này được dịch bởi Cloud Translation API.
Switch to English

Khung học tập cấu trúc thần kinh

Học tập cấu trúc thần kinh (NSL) tập trung vào việc đào tạo các mạng lưới thần kinh sâu bằng cách tận dụng các tín hiệu có cấu trúc (khi có sẵn) cùng với các đầu vào tính năng. Theo giới thiệu của Bùi và cộng sự. (WSDM'18) , các tín hiệu có cấu trúc này được sử dụng để thường xuyên hóa việc đào tạo mạng lưới thần kinh, buộc mô hình phải học các dự đoán chính xác (bằng cách giảm thiểu tổn thất có giám sát), đồng thời duy trì sự tương tự về cấu trúc đầu vào (bằng cách giảm thiểu tổn thất hàng xóm , xem hình bên dưới). Kỹ thuật này là chung chung và có thể được áp dụng trên các kiến ​​trúc thần kinh tùy ý (chẳng hạn như NN chuyển tiếp thức ăn, NN chuyển đổi và NN tái phát).

Khái niệm NSL

Lưu ý rằng phương trình tổn thất lân cận tổng quát là linh hoạt và có thể có các dạng khác bên cạnh dạng minh họa ở trên. Ví dụ: chúng ta cũng có thể chọn

$$ \ sum_ {x_j \ in \ mathcal {N} (x_i)} \ mathcal {E} (y_i, g_ \ theta (x_j)) $$

là tổn thất hàng xóm, tính toán khoảng cách giữa sự thật mặt đất

$$ y_i $$

và dự đoán từ hàng xóm

$$ g_ \ theta (x_j) $$

. Điều này thường được sử dụng trong học tập nghịch cảnh (Goodfellow et al., ICLR'15) . Do đó, NSL khái quát hóa cho Học đồ thị thần kinh nếu hàng xóm được biểu thị rõ ràng bằng đồ thị và Học về nghịch cảnh nếu hàng xóm bị ngầm gây ra bởi nhiễu loạn nghịch cảnh.

Quy trình làm việc tổng thể cho Học tập có cấu trúc thần kinh được minh họa dưới đây. Mũi tên đen đại diện cho quy trình đào tạo thông thường và mũi tên đỏ đại diện cho quy trình công việc mới được NSL giới thiệu để tận dụng các tín hiệu có cấu trúc. Đầu tiên, các mẫu đào tạo được tăng cường để bao gồm các tín hiệu có cấu trúc. Khi các tín hiệu có cấu trúc không được cung cấp rõ ràng, chúng có thể được xây dựng hoặc gây ra (điều này áp dụng cho việc học đối nghịch). Tiếp theo, các mẫu đào tạo tăng cường (bao gồm cả các mẫu ban đầu và các hàng xóm tương ứng của chúng) được đưa vào mạng lưới thần kinh để tính toán các nhúng của chúng. Khoảng cách giữa nhúng mẫu và nhúng hàng xóm được tính và sử dụng như tổn thất lân cận, được coi là một thuật ngữ chính quy và thêm vào tổn thất cuối cùng. Đối với chính quy hóa hàng xóm rõ ràng, chúng tôi thường tính toán tổn thất của hàng xóm là khoảng cách giữa việc nhúng mẫu và nhúng của hàng xóm. Tuy nhiên, bất kỳ lớp nào của mạng lưới thần kinh có thể được sử dụng để tính toán tổn thất lân cận. Mặt khác, đối với chính quy hóa hàng xóm gây ra (nghịch cảnh), chúng tôi tính toán tổn thất hàng xóm là khoảng cách giữa dự đoán đầu ra của hàng xóm đối nghịch cảm ứng và nhãn sự thật mặt đất.

Quy trình làm việc của NSL

Tại sao nên sử dụng NSL?

NSL mang lại những lợi thế sau:

  • Độ chính xác cao hơn : (các) tín hiệu có cấu trúc giữa các mẫu có thể cung cấp thông tin không phải lúc nào cũng có sẵn trong các đầu vào tính năng; do đó, phương pháp đào tạo chung (có cả tín hiệu và tính năng có cấu trúc) đã được chứng minh là vượt trội so với nhiều phương pháp hiện có (chỉ dựa vào đào tạo với các tính năng) trên một loạt các nhiệm vụ, như phân loại tài liệu và phân loại ý nghĩa ngữ nghĩa ( Bùi và cộng sự ., WSDM'18 & Kipf và cộng sự, ICLR'17 ).
  • Tính mạnh mẽ : các mô hình được đào tạo với các ví dụ về nghịch cảnh đã được chứng minh là mạnh mẽ chống lại các nhiễu loạn đối nghịch được thiết kế để đánh lừa dự đoán hoặc phân loại của một mô hình ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Khi số lượng mẫu đào tạo ít, đào tạo với các ví dụ đối nghịch cũng giúp cải thiện độ chính xác của mô hình ( Tsipras et al., ICLR'19 ).
  • Dữ liệu ít được yêu cầu : NSL cho phép các mạng thần kinh khai thác cả dữ liệu được gắn nhãn và không được gắn nhãn, giúp mở rộng mô hình học tập sang học bán giám sát . Cụ thể, NSL cho phép mạng đào tạo sử dụng dữ liệu được dán nhãn như trong cài đặt được giám sát, đồng thời thúc đẩy mạng tìm hiểu các biểu diễn ẩn tương tự cho "các mẫu lân cận" có thể có hoặc không có nhãn. Kỹ thuật này đã cho thấy nhiều hứa hẹn để cải thiện độ chính xác của mô hình khi lượng dữ liệu được dán nhãn tương đối nhỏ ( Bùi và cộng sự, WSDM'18 & Miyato et al., ICLR'16 ).

Hướng dẫn từng bước

Để có được trải nghiệm thực tế với Học tập có cấu trúc thần kinh, chúng tôi có ba hướng dẫn bao gồm nhiều tình huống khác nhau trong đó các tín hiệu có cấu trúc có thể được đưa ra rõ ràng, gây ra hoặc được xây dựng: