SIG TFX-Addons কমিউনিটিতে যোগ দিন এবং TFX কে আরও ভাল করতে সাহায্য করুন! SIG TFX-Addons- এ যোগ দিন

টিএফএক্স পাইপলাইন বোঝা

এমএলএপস হ'ল মেশিন লার্নিং (এমএল) ওয়ার্কফ্লোগুলি অটোমেট, পরিচালনা এবং অডিট করতে সহায়তা করার জন্য ডিওওপস অনুশীলনগুলি প্রয়োগ করার অনুশীলন। এমএল ওয়ার্কফ্লোতে পদক্ষেপগুলি অন্তর্ভুক্ত করে:

  • ডেটা প্রস্তুত, বিশ্লেষণ এবং রূপান্তর করুন।
  • কোনও মডেলকে প্রশিক্ষণ এবং মূল্যায়ন করুন।
  • উত্পাদনে প্রশিক্ষিত মডেল মোতায়েন করুন।
  • এমএল শৈল্পিকাগুলি ট্র্যাক করুন এবং তাদের নির্ভরতা বুঝতে পারেন

এই পদক্ষেপগুলি একটি বিজ্ঞাপন-পদ্ধতিতে পরিচালনা করা কঠিন এবং সময় সাপেক্ষ হতে পারে।

টিএফএক্স এমন একটি সরঞ্জামদণ্ড সরবরাহ করে এমএলওপিগুলি প্রয়োগ করা আরও সহজ করে তোলে যা আপনাকে আপনার এমএল প্রক্রিয়াটিকে বিভিন্ন অর্কেস্টেটরে যেমন অর্কেস্টেট করতে সহায়তা করে যেমন: অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো পাইপলাইন। আপনার ওয়ার্কফ্লো টিএফএক্স পাইপলাইন হিসাবে প্রয়োগ করে আপনি এটি করতে পারেন:

  • আপনার এমএল প্রক্রিয়াটি স্বয়ংক্রিয় করুন, যা আপনাকে নিয়মিত পুনরায় প্রশিক্ষণ, মূল্যায়ন এবং আপনার মডেল স্থাপন করতে দেয়।
  • বড় ডেটাসেট এবং ওয়ার্কলোডগুলি প্রক্রিয়াকরণের জন্য বিতরণ করা গণনা সংস্থানগুলি ব্যবহার করুন।
  • হাইপারপ্যারামিটারের বিভিন্ন সেট সহ পাইপলাইন চালিয়ে পরীক্ষার বেগ বৃদ্ধি করুন।

এই গাইড টিএফএক্স পাইপলাইনগুলি বোঝার জন্য প্রয়োজনীয় মূল ধারণাগুলি বর্ণনা করে describes

শিল্পকলা

একটি টিএফএক্স পাইপলাইনে পদক্ষেপের আউটপুটগুলিকে শিল্পকর্ম বলা হয়। আপনার কার্যপ্রবাহের পরবর্তী পদক্ষেপগুলি এই শিল্পকলাগুলি ইনপুট হিসাবে ব্যবহার করতে পারে। এইভাবে, টিএফএক্স আপনাকে ওয়ার্কফ্লো পদক্ষেপগুলির মধ্যে ডেটা স্থানান্তর করতে দেয়।

উদাহরণস্বরূপ, ExampleGen স্ট্যান্ডার্ড উপাদানটি সিরিয়ালযুক্ত উদাহরণগুলি প্রকাশ করে, যা StatisticsGen স্ট্যান্ডার্ডজেনের মতো উপাদানগুলি ইনপুট হিসাবে ব্যবহার করে।

এমএল মেটাডেটা স্টোরটিতে নিবন্ধভুক্ত একটি আর্টিক্ট প্রকারের সাথে নিদর্শনগুলিকে দৃ strongly়তার সাথে টাইপ করতে হবে। এমএল মেটাডেটাতে ব্যবহৃত ধারণাগুলি সম্পর্কে আরও জানুন।

আর্টিফ্যাক্ট প্রকারের একটি নাম থাকে এবং এর বৈশিষ্ট্যের একটি স্কিমা সংজ্ঞায়িত হয়। আর্টিফ্যাক্ট ধরণের নামগুলি অবশ্যই আপনার এমএল মেটাডেটা স্টোরের মধ্যে অনন্য be টিএফএক্স বিভিন্ন স্ট্যান্ডার্ড আর্টিক্যাক্ট প্রকার সরবরাহ করে যা জটিল ডেটা এবং মান ধরণের বর্ণনা দেয়, যেমন: স্ট্রিং, পূর্ণসংখ্যা এবং ভাসা। আপনি এই আর্টিক্ট টাইপগুলি পুনরায় ব্যবহার করতে পারেন বা কাস্টম আর্টিফ্যাক্ট প্রকারগুলি সংজ্ঞা দিতে পারেন যা Artifact থেকে প্রাপ্ত।

প্যারামিটার

প্যারামিটারগুলি পাইপলাইনগুলির ইনপুটগুলি যা আপনার পাইপলাইন কার্যকর হওয়ার আগে জানা ছিল। পরামিতি আপনাকে কোডের পরিবর্তে কনফিগারেশনের মাধ্যমে পাইপলাইন বা পাইপলাইনের একটি অংশের আচরণ পরিবর্তন করতে দেয়।

উদাহরণস্বরূপ, আপনি পাইপলাইনের কোডটি পরিবর্তন না করে হাইপারপ্যারামিটারগুলির বিভিন্ন সেট সহ পাইপলাইন চালাতে প্যারামিটারগুলি ব্যবহার করতে পারেন।

প্যারামিটারগুলি ব্যবহার করে আপনাকে বিভিন্ন সেট পরামিতিগুলির সাথে আপনার পাইপলাইনটি চালানো সহজ করে পরীক্ষার বেগ বাড়িয়ে তুলতে পারবেন।

রানটাইমপ্যারামিটার ক্লাস সম্পর্কে আরও জানুন।

উপাদান

একটি উপাদান একটি এমএল টাস্কের একটি বাস্তবায়ন যা আপনি আপনার টিএফএক্স পাইপলাইনের একটি পদক্ষেপ হিসাবে ব্যবহার করতে পারেন। উপাদানগুলি গঠিত:

  • একটি উপাদান স্পেসিফিকেশন, যা উপাদানগুলির ইনপুট এবং আউটপুট শিল্পকলাগুলি এবং উপাদানটির প্রয়োজনীয় পরামিতিগুলি সংজ্ঞায়িত করে।
  • একজন নির্বাহক, যা আপনার এমএল ওয়ার্কফ্লোতে একটি পদক্ষেপ সম্পাদনের জন্য কোড প্রয়োগ করে, যেমন ডেটা ইনজিস্টিং এবং ট্রান্সফর্মিং বা প্রশিক্ষণ এবং কোনও মডেলকে মূল্যায়ন করা।
  • একটি উপাদান ইন্টারফেস, যা পাইপলাইনে ব্যবহারের জন্য উপাদানগুলির স্পেসিফিকেশন এবং নির্বাহকের প্যাকেজ করে।

টিএফএক্স বিভিন্ন স্ট্যান্ডার্ড উপাদান সরবরাহ করে যা আপনি আপনার পাইপলাইনে ব্যবহার করতে পারেন। যদি এই উপাদানগুলি আপনার চাহিদা পূরণ না করে তবে আপনি কাস্টম উপাদানগুলি তৈরি করতে পারেন। কাস্টম উপাদানগুলি সম্পর্কে আরও জানুন

পাইপলাইন

একটি টিএফএক্স পাইপলাইন হ'ল এমএল ওয়ার্কফ্লোর একটি বহনযোগ্য বাস্তবায়ন যা বিভিন্ন অর্কেস্টেটর, যেমন: অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো পাইপলাইনে চালানো যেতে পারে। একটি পাইপলাইন উপাদান উপাদানগুলি এবং ইনপুট পরামিতিগুলির সমন্বয়ে গঠিত।

উপাদানগুলির দৃষ্টান্তগুলি আউটপুট হিসাবে শৈল্পিক উত্পাদন করে এবং সাধারণত ইনপুট হিসাবে উপবাহী উপাদান উদাহরণগুলির দ্বারা উত্পাদিত শিল্পকর্মগুলির উপর নির্ভর করে। উপাদান দৃষ্টান্তগুলির জন্য কার্যকরকরণ ক্রমটি নিদর্শন নির্ভরতাগুলির একটি নির্দেশিত অ্যাসাইক্লিক গ্রাফ তৈরি করে নির্ধারিত হয়।

উদাহরণস্বরূপ, একটি পাইপলাইন বিবেচনা করুন যা নিম্নলিখিতগুলি করে:

  • কাস্টম উপাদান ব্যবহার করে কোনও মালিকানা ব্যবস্থা থেকে ডেটা সরাসরি আটকায়।
  • স্ট্যাটিস্টিকজেন স্ট্যান্ডার্ড উপাদান ব্যবহার করে প্রশিক্ষণ ডেটার জন্য পরিসংখ্যান গণনা করে।
  • স্কিমাজেন মানক উপাদানটি ব্যবহার করে একটি ডেটা স্কিমা তৈরি করে।
  • উদাহরণ উইলিডেটর স্ট্যান্ডার্ড উপাদানটি ব্যবহার করে অসঙ্গতিগুলির জন্য প্রশিক্ষণের ডেটা পরীক্ষা করে।
  • ট্রান্সফর্ম স্ট্যান্ডার্ড উপাদান ব্যবহার করে ডেটাসেটে ফিচার ইঞ্জিনিয়ারিং সম্পাদন করে।
  • ট্রেনার স্ট্যান্ডার্ড উপাদান ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দেয়।
  • মূল্যায়নকারী উপাদান ব্যবহার করে প্রশিক্ষিত মডেলকে মূল্যায়ন করে।
  • যদি মডেলটি তার মূল্যায়নটি পাস করে তবে পাইপলাইন প্রশিক্ষিত মডেলটিকে একটি স্বনির্ধারিত উপাদান ব্যবহার করে মালিকানার স্থাপনা সিস্টেমে সজ্জিত করে।

উপাদান দৃষ্টান্তগুলির জন্য কার্যকরকরণের ক্রম নির্ধারণ করতে, টিএফএক্স শৈল্পিক নির্ভরতাগুলি বিশ্লেষণ করে।

  • ডেটা ইনজেশন উপাদানটির কোনও শৈল্পিক নির্ভরতা নেই, সুতরাং এটি গ্রাফের প্রথম নোড হতে পারে।
  • স্ট্যাটিস্টিকজেন ডেটা ইনজেশন দ্বারা উত্পাদিত উদাহরণগুলির উপর নির্ভর করে, তাই এটি ডেটা ইনজেশনের পরে কার্যকর করা উচিত।
  • স্কিমাগেন স্ট্যাটিস্টিকজেন দ্বারা নির্মিত পরিসংখ্যানগুলির উপর নির্ভর করে, সুতরাং এটি অবশ্যই স্ট্যাটিকস্টেনের পরে কার্যকর করা উচিত।
  • ExampleValidator StatisticsGen এবং স্কিমা SchemaGen দ্বারা নির্মিত দ্বারা নির্মিত পরিসংখ্যান উপর নির্ভর করে, তাই এটি StatisticsGen এবং SchemaGen পর মৃত্যুদন্ড কার্যকর করতে হবে।
  • রূপান্তরটি ডেটা ইনজেশন এবং স্কিমাজেন দ্বারা নির্মিত স্কিমা দ্বারা উত্পাদিত উদাহরণগুলির উপর নির্ভর করে, সুতরাং এটি ডেটা ইনজেশন এবং স্কিমাজেনের পরে অবশ্যই কার্যকর করা উচিত।
  • ট্রেনার ডেটা ইনজেশন দ্বারা উত্পাদিত উদাহরণ , স্কিমাজেন দ্বারা নির্মিত স্কিমা এবং ট্রান্সফর্ম দ্বারা উত্পাদিত সংরক্ষিত মডেলের উপর নির্ভর করে। ট্রেনার কেবল ডেটা ইনজেশন, স্কিমাজেন এবং ট্রান্সফর্মের পরে কার্যকর করা যায়।
  • মূল্যায়ন ডেটা ইনজেশন দ্বারা উত্পাদিত উদাহরণ এবং ট্রেনার দ্বারা উত্পাদিত সংরক্ষিত মডেলের উপর নির্ভর করে, সুতরাং এটি ডেটা ইনজেশন এবং ট্রেনারের পরে কার্যকর করা উচিত।
  • কাস্টম ডিপ্লোয়ারার ট্রেনার দ্বারা উত্পাদিত সংরক্ষিত মডেল এবং মূল্যায়নকারী দ্বারা নির্মিত বিশ্লেষণ ফলাফলের উপর নির্ভর করে, তাই প্রশিক্ষক এবং মূল্যায়নকারীকে পরে ডিপ্লোয়ারকে মৃত্যুদন্ড কার্যকর করতে হবে।

এই বিশ্লেষণের ভিত্তিতে একজন অর্কেস্টেটর চালান:

  • ডেটা ইনজেশন, স্ট্যাটিসটিক্স জেন, স্কিমাজেন উপাদানগুলির ক্রমিক দৃষ্টান্তগুলি।
  • উদাহরণভালিডেটর এবং ট্রান্সফর্ম উপাদানগুলি সমান্তরালভাবে চলতে পারে যেহেতু তারা ইনপুট আর্টিক্ট নির্ভরতা ভাগ করে নেয় এবং একে অপরের আউটপুটে নির্ভর করে না।
  • ট্রান্সফর্ম উপাদানটি সম্পূর্ণ হওয়ার পরে, প্রশিক্ষক, মূল্যায়নকারী এবং কাস্টম ডিপ্লোয়ারের উপাদানগুলির উদাহরণগুলি ক্রমানুসারে চলে run

একটি টিএফএক্স পাইপলাইন নির্মাণ সম্পর্কে আরও জানুন।

টিএফএক্স পাইপলাইন টেম্পলেট

টিএফএক্স পাইপলাইন টেম্পলেটগুলি আপনার ব্যবহারের ক্ষেত্রে কাস্টমাইজ করতে পারে এমন একটি প্রাক-বিল্ড পাইপলাইন সরবরাহ করে পাইপলাইন বিকাশ শুরু করা সহজ করে তোলে।

একটি টিএফএক্স পাইপলাইন টেম্পলেট কাস্টমাইজ করা সম্পর্কে আরও জানুন।

পাইপলাইন রান

রান একটি পাইপলাইনের একক সম্পাদন।

অর্কেস্টেটর

অর্কেস্টেটর এমন একটি সিস্টেম যেখানে আপনি পাইপলাইন রান চালাতে পারেন। টিএফএক্স অর্কেস্টেটরগুলিকে সমর্থন করে যেমন: অ্যাপাচি এয়ারফ্লো , অ্যাপাচি বিম এবং কুবেফ্লো পাইপলাইন । টিএফএক্স একটি অর্কেস্ট্রেটারকে সমর্থন করে এমন একটি বাস্তবায়নকে নির্দেশ করতে ডাগরুনার শব্দটিও ব্যবহার করে।