Trang này được dịch bởi Cloud Translation API.
Switch to English

The Neural Structured Learning Framework

Học có cấu trúc thần kinh (NSL) tập trung vào đào tạo mạng thần kinh sâu bằng cách tận dụng các tín hiệu có cấu trúc (khi có sẵn) cùng với các đầu vào tính năng. Theo giới thiệu của Bui et al. (WSDM'18) , các tín hiệu có cấu trúc này được sử dụng để điều chỉnh quá trình huấn luyện mạng nơ-ron, buộc mô hình học các dự đoán chính xác (bằng cách giảm thiểu tổn thất được giám sát), đồng thời duy trì sự tương đồng về cấu trúc đầu vào (bằng cách giảm thiểu tổn thất lân cận , xem hình bên dưới). Kỹ thuật này là chung và có thể được áp dụng trên các kiến ​​trúc thần kinh tùy ý (chẳng hạn như NN chuyển tiếp, NN chuyển đổi và NN lặp lại).

Khái niệm NSL

Lưu ý rằng phương trình tổn thất lân cận tổng quát là linh hoạt và có thể có các dạng khác ngoài dạng được minh họa ở trên. Ví dụ: chúng tôi cũng có thể chọn

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

là tổn thất hàng xóm, tính toán khoảng cách giữa sự thật mặt đất

$$y_i$$

và dự đoán từ người hàng xóm

$$g_\theta(x_j)$$

. Điều này thường được sử dụng trong học tập theo đối phương (Goodfellow et al., ICLR'15) . Do đó, NSL khái quát thành Học đồ thị thần kinh nếu hàng xóm được biểu thị rõ ràng bằng biểu đồ và thành Học bằng đồ thị đối phương nếu hàng xóm bị nhiễu loạn đối phương ngầm gây ra.

Quy trình tổng thể cho Học có cấu trúc thần kinh được minh họa bên dưới. Mũi tên màu đen đại diện cho quy trình đào tạo thông thường và mũi tên màu đỏ đại diện cho quy trình làm việc mới do NSL giới thiệu để tận dụng các tín hiệu có cấu trúc. Đầu tiên, các mẫu đào tạo được tăng cường để bao gồm các tín hiệu có cấu trúc. Khi các tín hiệu có cấu trúc không được cung cấp rõ ràng, chúng có thể được xây dựng hoặc tạo ra (cái sau áp dụng cho việc học theo đối phương). Tiếp theo, các mẫu đào tạo tăng cường (bao gồm cả các mẫu ban đầu và các mẫu lân cận tương ứng của chúng) được cung cấp cho mạng nơ-ron để tính toán các lần nhúng của chúng. Khoảng cách giữa lần nhúng của một mẫu và lần nhúng của hàng xóm của nó được tính toán và sử dụng làm tổn thất hàng xóm, được coi như một thuật ngữ quy định và được cộng vào tổn thất cuối cùng. Đối với quy định dựa trên hàng xóm rõ ràng, chúng tôi thường tính toán tổn thất hàng xóm là khoảng cách giữa lần nhúng của mẫu và lần nhúng của hàng xóm. Tuy nhiên, bất kỳ lớp nào của mạng nơ-ron cũng có thể được sử dụng để tính toán tổn thất hàng xóm. Mặt khác, đối với sự chính quy hóa dựa trên lân cận gây ra (nghịch đảo), chúng tôi tính toán tổn thất lân cận là khoảng cách giữa dự đoán đầu ra của lân cận đối nghịch gây ra và nhãn chân lý cơ bản.

Quy trình làm việc NSL

Tại sao sử dụng NSL?

NSL mang lại những ưu điểm sau:

  • Độ chính xác cao hơn : (các) tín hiệu có cấu trúc giữa các mẫu có thể cung cấp thông tin không phải lúc nào cũng có sẵn trong các đầu vào tính năng; do đó, phương pháp đào tạo chung (với cả tín hiệu có cấu trúc và tính năng) đã được chứng minh là tốt hơn nhiều phương pháp hiện có (chỉ dựa vào đào tạo với các tính năng) trên một loạt các nhiệm vụ, chẳng hạn như phân loại tài liệu và phân loại ý định ngữ nghĩa ( Bui et al ., WSDM'18 & Kipf và cộng sự, ICLR'17 ).
  • Mạnh mẽ : các mô hình được đào tạo với các ví dụ về đối phương đã được chứng minh là có khả năng chống lại các nhiễu loạn đối nghịch được thiết kế để làm sai lệch dự đoán hoặc phân loại của mô hình ( Goodfellow et al., ICLR'15 & Miyato et al., ICLR'16 ). Khi số lượng mẫu huấn luyện nhỏ, việc huấn luyện với các ví dụ đối nghịch cũng giúp cải thiện độ chính xác của mô hình ( Tsipras et al., ICLR'19 ).
  • Yêu cầu dữ liệu ít được gắn nhãn hơn : NSL cho phép mạng nơ-ron khai thác cả dữ liệu được gắn nhãn và không được gắn nhãn, điều này mở rộng mô hình học tập sang học bán giám sát . Cụ thể, NSL cho phép mạng đào tạo bằng cách sử dụng dữ liệu có nhãn như trong cài đặt được giám sát, đồng thời thúc đẩy mạng tìm hiểu các biểu diễn ẩn tương tự cho các "mẫu lân cận" có thể có hoặc không có nhãn. Kỹ thuật này đã cho thấy nhiều hứa hẹn trong việc cải thiện độ chính xác của mô hình khi lượng dữ liệu được gắn nhãn là tương đối nhỏ ( Bui et al., WSDM'18 & Miyato et al., ICLR'16 ).

Hướng dẫn từng bước

Để có được trải nghiệm thực tế với Học có cấu trúc thần kinh, chúng tôi có ba hướng dẫn bao gồm các tình huống khác nhau trong đó các tín hiệu có cấu trúc có thể được cung cấp, tạo ra hoặc xây dựng một cách rõ ràng: