নিউরাল স্ট্রাকচার্ড লার্নিং ফ্রেমওয়ার্ক

নিউরাল স্ট্রাকচার্ড লার্নিং (এনএসএল) বৈশিষ্ট্য ইনপুটগুলির সাথে স্ট্রাকচার্ড সিগন্যালগুলি (যখন উপলব্ধ তখন) লাভবান করে গভীর স্নায়বিক নেটওয়ার্কগুলি প্রশিক্ষণের উপর জোর দেয়। যেমন বুই এট আল দ্বারা প্রবর্তিত । (ডাব্লুএসডিএম'১৮) , এই কাঠামোগত সংকেতগুলি নিউরাল নেটওয়ার্কের প্রশিক্ষণকে নিয়মিত করার জন্য ব্যবহৃত হয়, মডেলকে সঠিক ভবিষ্যদ্বাণী শিখতে বাধ্য করে (তদারকি ক্ষতি হ্রাস করে), একই সাথে ইনপুট কাঠামোগত সাদৃশ্য বজায় রাখে (প্রতিবেশীর ক্ষতি হ্রাস করে) , নীচের চিত্রটি দেখুন)। এই কৌশলটি জেনেরিক এবং নির্বিচারে নিউরাল আর্কিটেকচারগুলিতে প্রয়োগ করা যেতে পারে (যেমন ফিড-ফরোয়ার্ড এনএন, কনভোলিউশনাল এনএন এবং পুনরাবৃত্তি এনএন)।

এনএসএল ধারণা

নোট করুন যে সাধারণী প্রতিবেশী ক্ষতির সমীকরণ নমনীয় এবং উপরে বর্ণিত চিত্রটি ছাড়াও অন্যান্য রূপ থাকতে পারে। উদাহরণস্বরূপ, আমরা নির্বাচন করতে পারেন

$$\sum_{x_j \in \mathcal{N}(x_i)}\mathcal{E}(y_i,g_\theta(x_j))$$

প্রতিবেশী ক্ষতি হতে, যা স্থল সত্যের মধ্যে দূরত্ব গণনা করে

$$y_i$$

এবং প্রতিবেশী থেকে ভবিষ্যদ্বাণী

$$g_\theta(x_j)$$

। এটি সাধারণত অ্যাডভারসিয়াল লার্নিংয়ে ব্যবহৃত হয় (গুডফেলো এট আল।, আইসিএলআর 15) । সুতরাং, এনএসএল নিউরাল গ্রাফ লার্নিংকে জেনারেলাইজ করে যদি প্রতিবেশীদের স্পষ্টভাবে কোনও গ্রাফ দ্বারা প্রতিনিধিত্ব করা হয়, এবং প্রতিবেশীরা স্পষ্টতভাবে অ্যাডভারসিয়াল পার্টটৌথুন দ্বারা প্ররোচিত হলে অ্যাডভারসিয়াল লার্নিংয়ে

নিউরাল স্ট্রাকচার্ড লার্নিংয়ের সামগ্রিক কর্মপ্রবাহ নীচে চিত্রিত করা হয়েছে। কালো তীরগুলি প্রচলিত প্রশিক্ষণের ওয়ার্কফ্লো প্রতিনিধিত্ব করে এবং লাল তীরগুলি এনএসএল দ্বারা কাঠামোগত সংকেত লাভের জন্য প্রবর্তিত নতুন কর্মপ্রবাহকে উপস্থাপন করে। প্রথমত, প্রশিক্ষণের নমুনাগুলি কাঠামোগত সংকেতগুলি অন্তর্ভুক্ত করার জন্য বাড়ানো হয়। যখন কাঠামোগত সংকেতগুলি সুস্পষ্টভাবে সরবরাহ করা হয় না, সেগুলি হয় নির্মিত বা প্ররোচিত হতে পারে (পরবর্তীটি প্রতিকূল বিদ্যা শিক্ষার ক্ষেত্রে প্রযোজ্য)। এর পরে, বর্ধিত প্রশিক্ষণ নমুনাগুলি (মূল নমুনা এবং তাদের সংশ্লিষ্ট প্রতিবেশী উভয়ই সহ) তাদের এম্বেডিং গণনার জন্য নিউরাল নেটওয়ার্ককে খাওয়ানো হয়। কোনও নমুনার এম্বেডিং এবং এর প্রতিবেশীর এমবেডিংয়ের মধ্যকার দূরত্ব গণনা করা হয় এবং প্রতিবেশীর ক্ষতি হিসাবে ব্যবহৃত হয়, যা নিয়মিতকরণ হিসাবে বিবেচিত হয় এবং চূড়ান্ত ক্ষয়তে যুক্ত হয়। সুস্পষ্ট প্রতিবেশী-ভিত্তিক নিয়ন্ত্রণের জন্য, আমরা সাধারণত প্রতিবেশীর ক্ষতিকে নমুনার এমবেডিং এবং প্রতিবেশী এম্বেডিংয়ের মধ্যবর্তী দূরত্ব হিসাবে গণনা করি। তবে স্নায়বিক নেটওয়ার্কের যে কোনও স্তর প্রতিবেশীর ক্ষতির হিসাব করতে ব্যবহৃত হতে পারে। অন্যদিকে, প্ররোচিত প্রতিবেশী-ভিত্তিক নিয়মিতকরণ (বিদ্বেষমূলক) জন্য, আমরা প্রতিবেশী লোকসানকে প্ররোচিত বিদ্বেষী প্রতিবেশীর আউটপুট ভবিষ্যদ্বাণী এবং স্থল সত্যের লেবেলের মধ্যে দূরত্ব হিসাবে গণনা করি।

এনএসএল কর্মপ্রবাহ

এনএসএল কেন ব্যবহার করবেন?

এনএসএল নিম্নলিখিত সুবিধা নিয়ে আসে:

  • উচ্চতর নির্ভুলতা : নমুনাগুলির মধ্যে কাঠামোগত সংকেত (গুলি) এমন তথ্য সরবরাহ করতে পারে যা বৈশিষ্ট্য ইনপুটগুলিতে সর্বদা পাওয়া যায় না; অতএব, যৌথ প্রশিক্ষণ পদ্ধতির (কাঠামোগত সংকেত এবং বৈশিষ্ট্য উভয় সহ) অনেকগুলি বিদ্যমান পদ্ধতির (যা কেবল বৈশিষ্ট্যগুলির সাথে প্রশিক্ষণের উপর নির্ভর করে) বিস্তৃত কাজগুলিতে যেমন ডকুমেন্টের শ্রেণিবদ্ধকরণ এবং শব্দার্থিক অভিপ্রায় শ্রেণিবিন্যাস ( বুয়ী এট আল ) ছাড়িয়ে গেছে ।, WSDM'18 & Kipf et al।, ICLR'17 )।
  • বলিষ্ঠতার: মডেল adversarial উদাহরণ প্রশিক্ষিত adversarial একটি মডেল এর ভবিষ্যদ্বাণী বা ক্লাসিফিকেশন বিভ্রান্তিকর জন্য ডিজাইন করা perturbations বিরুদ্ধে জোরালো দেখানো হয়েছে ( Goodfellow এট, ICLR'15। & Miyato এট, ICLR'16। )। প্রশিক্ষণের নমুনাগুলির সংখ্যা যখন কম থাকে , তখন বিদ্বেষমূলক উদাহরণগুলির সাথে প্রশিক্ষণও মডেল নির্ভুলতা উন্নত করতে সহায়তা করে ( সিসপ্রাস এট আল।, আইসিএলআর ১৯ )।
  • কম লেবেলযুক্ত ডেটা প্রয়োজন : এনএসএল স্নায়ুবহুল নেটওয়ার্কগুলিকে লেবেলযুক্ত এবং লেবেলযুক্ত উভয় ডেটাই ব্যবহার করতে সক্ষম করে, যা শিক্ষার দৃষ্টান্তটি আধা-তত্ত্বাবধানে শিক্ষার ক্ষেত্রে প্রসারিত করে। বিশেষত, এনএসএল তত্ত্বাবধানে থাকা সেটিংয়ের মতো লেবেলযুক্ত ডেটা ব্যবহার করে নেটওয়ার্কটি প্রশিক্ষণের অনুমতি দেয় এবং একই সাথে "প্রতিবেশী নমুনা "গুলির জন্য একই রকম লুকানো উপস্থাপনা শিখতে নেটওয়ার্ককে চালিত করে, এতে লেবেল থাকতে পারে বা নাও থাকতে পারে। এই কৌশলটি মডেল নির্ভুলতার উন্নতির জন্য দুর্দান্ত প্রতিশ্রুতি দেখিয়েছে যখন লেবেলযুক্ত ডেটার পরিমাণ তুলনামূলকভাবে কম হয় ( বুয়াই এট ।, ডাব্লুএসডিএম'১৮ এবং মিয়াটো এট আল।, আইসিএলআর'১ ))।

ধাপে ধাপে টিউটোরিয়াল

নিউরাল স্ট্রাকচার্ড লার্নিংয়ের সাথে অভিজ্ঞতা অর্জনের জন্য, আমাদের তিনটি টিউটোরিয়াল রয়েছে যা বিভিন্ন পরিস্থিতিতে রয়েছে যেখানে কাঠামোগত সংকেতগুলি স্পষ্টভাবে দেওয়া যেতে পারে, প্ররোচিত করতে বা নির্মিত হতে পারে: