টেনসরফ্লো ল্যাটিস (TFL)

TensorFlow Lattice হলো একটি লাইব্রেরি যা নমনীয়, নিয়ন্ত্রিত এবং বোধগম্য ল্যাটিস-ভিত্তিক মডেল বাস্তবায়ন করে। এই লাইব্রেরিটি আপনাকে সাধারণ জ্ঞান-ভিত্তিক অথবা পলিসি-চালিত আকৃতিগত সীমাবদ্ধতার মাধ্যমে লার্নিং প্রক্রিয়ায় ডোমেইন জ্ঞান অন্তর্ভুক্ত করতে সক্ষম করে। এটি Keras লেয়ারের একটি সংগ্রহের মাধ্যমে করা হয়, যা মনোটোনিসিটি, কনভেক্সিটি এবং পেয়ারওয়াইজ ট্রাস্টের মতো সীমাবদ্ধতাগুলো পূরণ করতে পারে। লাইব্রেরিটি সহজে সেটআপযোগ্য পূর্ব-নির্মিত মডেলও সরবরাহ করে।

ধারণা

এই অংশটি JMLR 2016-এর Monotonic Calibrated Interpolated Look-Up Tables- এ প্রদত্ত বিবরণের একটি সরলীকৃত সংস্করণ।

জাল

ল্যাটিস হলো একটি ইন্টারপোলেটেড লুক-আপ টেবিল যা আপনার ডেটার মধ্যে যেকোনো ইনপুট-আউটপুট সম্পর্ককে আনুমানিক করতে পারে। এটি আপনার ইনপুট স্পেসের উপর একটি নিয়মিত গ্রিড স্থাপন করে এবং গ্রিডের শীর্ষবিন্দুগুলোতে আউটপুটের জন্য মান শিখে নেয়। একটি টেস্ট পয়েন্টের জন্য \(x\), \(f(x)\) চারপাশের ল্যাটিস মানগুলি থেকে রৈখিকভাবে ইন্টারপোলেট করা হয় \(x\).

উপরের সহজ উদাহরণটি হলো এমন একটি ফাংশন, যার ২টি ইনপুট ফিচার এবং ৪টি প্যারামিটার রয়েছে:\(\theta=[0, 0.2, 0.4, 1]\)এগুলো হলো ইনপুট স্পেসের প্রান্তসীমায় ফাংশনটির মান; ফাংশনের বাকি অংশ এই প্যারামিটারগুলো থেকে ইন্টারপোলেট করা হয়।

ফাংশন \(f(x)\) এটি বৈশিষ্ট্যগুলির মধ্যেকার অরৈখিক মিথস্ক্রিয়াকে ধারণ করতে পারে। আপনি ল্যাটিস প্যারামিটারগুলিকে একটি নিয়মিত গ্রিডে ভূমিতে স্থাপিত মেরুগুলির উচ্চতা হিসাবে ভাবতে পারেন, এবং ফলস্বরূপ ফাংশনটি চারটি মেরুর বিপরীতে টানটান করে বাঁধা কাপড়ের মতো।

সাথে \(D\) প্রতিটি মাত্রা বরাবর বৈশিষ্ট্য এবং ২টি শীর্ষবিন্দু থাকলে, একটি সুষম জালকের থাকবে \(2^D\) প্যারামিটারসমূহ। আরও নমনীয় একটি ফাংশন ফিট করার জন্য, আপনি প্রতিটি মাত্রা বরাবর আরও বেশি শীর্ষবিন্দু সহ ফিচার স্পেসের উপর একটি সূক্ষ্মতর ল্যাটিস নির্দিষ্ট করতে পারেন। ল্যাটিস রিগ্রেশন ফাংশনগুলো অবিচ্ছিন্ন এবং খণ্ড খণ্ডভাবে অসীমভাবে অন্তরীকরণযোগ্য।

ক্রমাঙ্কন

ধরা যাক, পূর্ববর্তী স্যাম্পল ল্যাটিসটি ফিচার ব্যবহার করে গণনা করা, প্রস্তাবিত স্থানীয় কফি শপের প্রতি ব্যবহারকারীর অর্জিত সন্তুষ্টিকে উপস্থাপন করে:

  • কফির দাম, ০ থেকে ২০ ডলারের মধ্যে
  • ব্যবহারকারীর দূরত্ব, ০ থেকে ৩০ কিলোমিটারের মধ্যে

আমরা চাই আমাদের মডেলটি একটি স্থানীয় কফি শপের পরামর্শে ব্যবহারকারীর সন্তুষ্টি শিখুক। TensorFlow Lattice মডেলগুলো ইনপুট ফিচারগুলোকে ল্যাটিস দ্বারা গৃহীত পরিসরে (উপরের উদাহরণ ল্যাটিসে ০.০ থেকে ১.০) ক্যালিব্রেট ও নর্মালাইজ করার জন্য পিসওয়াইজ লিনিয়ার ফাংশন ( tfl.layers.PWLCalibration এর সাথে) ব্যবহার করতে পারে। নিচে ১০টি কীপয়েন্ট সহ এই ধরনের ক্যালিব্রেশন ফাংশনের উদাহরণ দেখানো হলো:

প্রায়শই ফিচারগুলোর কোয়ান্টাইলকে ইনপুট কীপয়েন্ট হিসেবে ব্যবহার করা একটি ভালো উপায়। TensorFlow Lattice-এর আগে থেকে তৈরি মডেলগুলো স্বয়ংক্রিয়ভাবে ইনপুট কীপয়েন্টগুলোকে ফিচার কোয়ান্টাইলে সেট করে দিতে পারে।

ক্যাটেগরিক্যাল ফিচারের জন্য, TensorFlow Lattice একটি ল্যাটিসে ফিড করার জন্য অনুরূপ আউটপুট বাউন্ডিং সহ ক্যাটেগরিক্যাল ক্যালিব্রেশন ( tfl.layers.CategoricalCalibration এর মাধ্যমে) প্রদান করে।

এনসেম্বল

একটি ল্যাটিস লেয়ারের প্যারামিটারের সংখ্যা ইনপুট ফিচারের সংখ্যার সাথে সূচকীয়ভাবে বৃদ্ধি পায়, ফলে এটি খুব উচ্চ ডাইমেনশনের ক্ষেত্রে ভালোভাবে স্কেল করে না। এই সীমাবদ্ধতা কাটিয়ে উঠতে, TensorFlow Lattice ল্যাটিসের এনসেম্বল প্রদান করে যা বেশ কয়েকটি ক্ষুদ্র ল্যাটিসকে একত্রিত (গড়) করে, যা মডেলটিকে ফিচারের সংখ্যার সাথে রৈখিকভাবে বৃদ্ধি পেতে সক্ষম করে।

লাইব্রেরিটি এই এনসেম্বলগুলোর দুটি সংস্করণ প্রদান করে:

  • র‍্যান্ডম টাইনি ল্যাটিস (RTL): প্রতিটি সাবমডেল ফিচারগুলোর একটি র‍্যান্ডম উপসেট ব্যবহার করে (প্রতিস্থাপন সহ)।

  • ক্রিস্টালস : ক্রিস্টালস অ্যালগরিদম প্রথমে একটি প্রিফিটিং মডেলকে প্রশিক্ষণ দেয় যা জোড়ায় জোড়ায় ফিচারের পারস্পরিক ক্রিয়া-প্রতিক্রিয়া অনুমান করে। এরপর এটি চূড়ান্ত এনসেম্বলটিকে এমনভাবে সাজায় যাতে অধিক নন-লিনিয়ার মিথস্ক্রিয়াযুক্ত ফিচারগুলো একই ল্যাটিসে থাকে।

কেন টেনসরফ্লো ল্যাটিস?

আপনি এই টিএফ ব্লগ পোস্টে টেনসরফ্লো ল্যাটিস সম্পর্কে একটি সংক্ষিপ্ত পরিচিতি পেতে পারেন।

ব্যাখ্যাযোগ্যতা

যেহেতু প্রতিটি লেয়ারের প্যারামিটারগুলোই সেই লেয়ারের আউটপুট, তাই মডেলের প্রতিটি অংশ বিশ্লেষণ, বোঝা এবং ডিবাগ করা সহজ হয়।

নির্ভুল এবং নমনীয় মডেল

সূক্ষ্ম ল্যাটিস ব্যবহার করে, একটিমাত্র ল্যাটিস লেয়ারের মাধ্যমেই ইচ্ছামতো জটিল ফাংশন পাওয়া যায়। বাস্তবে ক্যালিব্রেটর এবং ল্যাটিসের একাধিক স্তর ব্যবহার প্রায়শই ভালোভাবে কাজ করে এবং একই আকারের ডিএনএন মডেলের সমতুল্য বা তার চেয়েও ভালো ফলাফল দিতে পারে।

সাধারণ জ্ঞানসম্মত আকৃতির সীমাবদ্ধতা

বাস্তব জগতের প্রশিক্ষণ ডেটা রান-টাইম ডেটাকে পর্যাপ্তভাবে উপস্থাপন নাও করতে পারে। ডিএনএন (DNN) বা ফরেস্টের (forest) মতো নমনীয় এমএল (ML) সমাধানগুলো প্রায়শই ইনপুট স্পেসের সেই অংশগুলোতে অপ্রত্যাশিতভাবে এবং এমনকি অনিয়ন্ত্রিতভাবে কাজ করে, যা প্রশিক্ষণ ডেটার আওতাভুক্ত নয়। এই আচরণটি বিশেষভাবে সমস্যাজনক হয়ে ওঠে যখন পলিসি বা ফেয়ারনেস কনস্ট্রেইন্ট লঙ্ঘিত হতে পারে।

যদিও রেগুলারাইজেশনের সাধারণ পদ্ধতিগুলো আরও যুক্তিসঙ্গত এক্সট্রাপোলেশনের দিকে নিয়ে যেতে পারে, স্ট্যান্ডার্ড রেগুলারাইজারগুলো সম্পূর্ণ ইনপুট স্পেস জুড়ে মডেলের যুক্তিসঙ্গত আচরণের নিশ্চয়তা দিতে পারে না, বিশেষ করে উচ্চ-মাত্রিক ইনপুটের ক্ষেত্রে। আরও নিয়ন্ত্রিত ও অনুমানযোগ্য আচরণসম্পন্ন সরল মডেলে পরিবর্তন করলে তা মডেলের নির্ভুলতার ওপর মারাত্মক প্রভাব ফেলতে পারে।

টিএফ ল্যাটিস নমনীয় মডেল ব্যবহার চালিয়ে যাওয়া সম্ভব করে, তবে শব্দার্থগতভাবে অর্থপূর্ণ সাধারণ জ্ঞান বা নীতি-চালিত আকৃতিগত সীমাবদ্ধতার মাধ্যমে শেখার প্রক্রিয়ায় ডোমেইন জ্ঞান অন্তর্ভুক্ত করার জন্য বেশ কিছু বিকল্প প্রদান করে:

  • একঘেয়েমি : আপনি নির্দিষ্ট করে দিতে পারেন যে আউটপুটটি শুধুমাত্র একটি ইনপুটের সাপেক্ষে বাড়বে বা কমবে। আমাদের উদাহরণে, আপনি হয়তো নির্দিষ্ট করতে চাইতে পারেন যে একটি কফি শপের দূরত্ব বাড়লে ব্যবহারকারীর পূর্বাভাসিত পছন্দ কেবল কমবে।

  • উত্তলতা/অবতলতা : আপনি নির্দিষ্ট করে দিতে পারেন যে ফাংশনের আকৃতি উত্তল বা অবতল হবে। একঘেয়েমির সাথে মিলিত হয়ে, এটি ফাংশনটিকে একটি নির্দিষ্ট বৈশিষ্ট্যের সাপেক্ষে ক্রমহ্রাসমান প্রতিদান উপস্থাপন করতে বাধ্য করতে পারে।

  • একক-শীর্ষতা : আপনি নির্দিষ্ট করে দিতে পারেন যে ফাংশনটির একটি অনন্য চূড়া বা অনন্য উপত্যকা থাকবে। এটি আপনাকে এমন ফাংশন উপস্থাপন করতে দেয়, যেগুলোর কোনো একটি বৈশিষ্ট্যের সাপেক্ষে একটি সর্বোত্তম স্থান থাকে।

  • জোড়াভিত্তিক আস্থা : এই সীমাবদ্ধতাটি একজোড়া বৈশিষ্ট্যের উপর কাজ করে এবং বোঝায় যে একটি ইনপুট বৈশিষ্ট্য অর্থগতভাবে অন্য একটি বৈশিষ্ট্যের প্রতি আস্থাকে প্রতিফলিত করে। উদাহরণস্বরূপ, বেশি সংখ্যক রিভিউ একটি রেস্তোরাঁর গড় স্টার রেটিং-এর প্রতি আপনাকে আরও বেশি আত্মবিশ্বাসী করে তোলে। রিভিউর সংখ্যা বেশি হলে মডেলটি স্টার রেটিং-এর সাপেক্ষে আরও বেশি সংবেদনশীল হবে (অর্থাৎ রেটিং-এর সাপেক্ষে এর ঢাল বেশি হবে)।

রেগুলারাইজার সহ নিয়ন্ত্রিত নমনীয়তা

আকৃতিগত সীমাবদ্ধতা ছাড়াও, টেনসরফ্লো ল্যাটিস প্রতিটি লেয়ারের ফাংশনের নমনীয়তা ও মসৃণতা নিয়ন্ত্রণের জন্য বেশ কিছু রেগুলাইজার প্রদান করে।

  • ল্যাপ্লেসিয়ান রেগুলাইজার : ল্যাটিস/ক্যালিব্রেশন ভার্টেক্স/কীপয়েন্টগুলোর আউটপুটকে তাদের নিজ নিজ প্রতিবেশীর মানের দিকে রেগুলাইজ করা হয়। এর ফলে একটি অপেক্ষাকৃত সমতল ফাংশন তৈরি হয়।

  • হেসিয়ান রেগুলাইজার : এটি PWL ক্যালিব্রেশন লেয়ারের প্রথম ডেরিভেটিভকে দণ্ড দেয়, যাতে ফাংশনটি আরও রৈখিক হয়।

  • রিঙ্কল রেগুলাইজার : এটি PWL ক্যালিব্রেশন লেয়ারের দ্বিতীয় ডেরিভেটিভকে দণ্ড দেয়, যাতে বক্রতার আকস্মিক পরিবর্তন এড়ানো যায়। এটি ফাংশনটিকে আরও মসৃণ করে তোলে।

  • টরশন রেগুলাইজার : ফিচারগুলোর মধ্যে টরশন প্রতিরোধ করার জন্য ল্যাটিসের আউটপুটগুলোকে রেগুলাইজ করা হবে। অন্য কথায়, ফিচারগুলোর অবদানের মধ্যে স্বাধীনতা নিশ্চিত করার জন্য মডেলটিকে রেগুলাইজ করা হবে।

অন্যান্য কেরাস লেয়ারের সাথে মিলিয়ে ব্যবহার করুন

আপনি অন্যান্য কেরাস লেয়ারের সাথে টিএফ ল্যাটিস লেয়ার ব্যবহার করে আংশিকভাবে সীমাবদ্ধ বা নিয়মিত মডেল তৈরি করতে পারেন। উদাহরণস্বরূপ, ল্যাটিস বা পিডব্লিউএল ক্যালিব্রেশন লেয়ারগুলো এমন গভীর নেটওয়ার্কের শেষ লেয়ারে ব্যবহার করা যেতে পারে, যেগুলোতে এমবেডিং বা অন্যান্য কেরাস লেয়ার অন্তর্ভুক্ত থাকে।

কাগজপত্র

টিউটোরিয়াল এবং এপিআই ডকুমেন্টেশন

সাধারণ মডেল আর্কিটেকচারের জন্য, আপনি কেরাসের আগে থেকে তৈরি মডেলগুলো ব্যবহার করতে পারেন। এছাড়াও আপনি টিএফ ল্যাটিস কেরাস লেয়ার ব্যবহার করে কাস্টম মডেল তৈরি করতে পারেন অথবা অন্যান্য কেরাস লেয়ারের সাথে মিলিয়ে ব্যবহার করতে পারেন। বিস্তারিত জানতে সম্পূর্ণ এপিআই ডকুমেন্টেশন দেখুন।