This page was translated by the Cloud Translation API.
Switch to English

টিএফএক্স ব্যবহারকারী গাইড

ভূমিকা

টিএফএক্স টেনসরফ্লো ভিত্তিক একটি গুগল-উত্পাদন-স্কেল মেশিন লার্নিং (এমএল) প্ল্যাটফর্ম। এটি আপনার মেশিন লার্নিং সিস্টেমটিকে সংজ্ঞায়িত, প্রবর্তন এবং নিরীক্ষণের জন্য প্রয়োজনীয় সাধারণ উপাদানগুলিকে সংহত করার জন্য একটি কনফিগারেশন ফ্রেমওয়ার্ক এবং ভাগ করা লাইব্রেরি সরবরাহ করে।

স্থাপন

পাইথন পিপিআই

pip install tfx

টিএফএক্স সম্পর্কে

টিএফএক্স হ'ল উত্পাদনের পরিবেশে এমএল ওয়ার্কফ্লো তৈরি এবং পরিচালনা করার একটি প্ল্যাটফর্ম। টিএফএক্স নিম্নলিখিতগুলি সরবরাহ করে:

  • এমএল পাইপলাইন তৈরির জন্য একটি সরঞ্জামকিট। টিএফএক্স পাইপলাইনগুলি আপনাকে বেশ কয়েকটি প্ল্যাটফর্মগুলিতে আপনার এমএল কর্মপ্রবাহকে অর্কেস্টেট করতে দেয় যেমন: অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো পাইপলাইন।

    টিএফএক্স পাইপলাইন সম্পর্কে আরও জানুন

  • স্ট্যান্ডার্ড উপাদানগুলির একটি সেট যা আপনি পাইপলাইনের অংশ হিসাবে, বা আপনার এমএল প্রশিক্ষণের স্ক্রিপ্টের অংশ হিসাবে ব্যবহার করতে পারেন। টিএফএক্স স্ট্যান্ডার্ড উপাদানগুলি সহজেই আপনাকে এমএল প্রক্রিয়া তৈরিতে সহায়তা করতে প্রমাণিত কার্যকারিতা সরবরাহ করে।

    টিএফএক্স স্ট্যান্ডার্ড উপাদানগুলি সম্পর্কে আরও জানুন

  • গ্রন্থাগারগুলি যা অনেকগুলি স্ট্যান্ডার্ড উপাদানগুলির জন্য বেস কার্যকারিতা সরবরাহ করে। আপনি নিজের কাস্টম উপাদানগুলিতে এই কার্যকারিতা যুক্ত করতে টিএফএক্স লাইব্রেরি ব্যবহার করতে পারেন, বা এগুলি পৃথকভাবে ব্যবহার করতে পারেন।

    টিএফএক্স লাইব্রেরি সম্পর্কে আরও জানুন

টিএফএক্স টেনসরফ্লো ভিত্তিক একটি গুগল-উত্পাদন-স্কেল মেশিন লার্নিং টুলকিট। এটি আপনার মেশিন লার্নিং সিস্টেমটিকে সংজ্ঞায়িত, প্রবর্তন এবং নিরীক্ষণের জন্য প্রয়োজনীয় সাধারণ উপাদানগুলিকে একীভূত করার জন্য একটি কনফিগারেশন ফ্রেমওয়ার্ক এবং ভাগ করা লাইব্রেরি সরবরাহ করে।

টিএফএক্স স্ট্যান্ডার্ড উপাদান

একটি টিএফএক্স পাইপলাইন এমন একটি উপাদানগুলির ক্রম যা একটি এমএল পাইপলাইন বাস্তবায়িত করে যা বিশেষত স্কেলযোগ্য, উচ্চ-কার্য সম্পাদনকারী মেশিন লার্নিং কার্যগুলির জন্য নকশাকৃত। এর মধ্যে রয়েছে মডেলিং, প্রশিক্ষণ, অনুমান পরিবেশন করা, এবং অনলাইন, নেটিভ মোবাইল এবং জাভাস্ক্রিপ্ট লক্ষ্যগুলিতে মোতায়েনের পরিচালনা।

একটি টিএফএক্স পাইপলাইনে সাধারণত নিম্নলিখিত উপাদানগুলি অন্তর্ভুক্ত থাকে:

এই চিত্রটি এই উপাদানগুলির মধ্যে ডেটা প্রবাহকে চিত্রিত করে:

উপাদান প্রবাহ

টিএফএক্স লাইব্রেরি

টিএফএক্স উভয় গ্রন্থাগার এবং পাইপলাইন উপাদান অন্তর্ভুক্ত। এই চিত্রটি টিএফএক্স লাইব্রেরি এবং পাইপলাইন উপাদানগুলির মধ্যে সম্পর্কের চিত্র তুলে ধরেছে:

গ্রন্থাগার ও উপাদান

টিএফএক্স বিভিন্ন পাইথন প্যাকেজ সরবরাহ করে যা লাইব্রেরি যা পাইপলাইন উপাদান তৈরি করতে ব্যবহৃত হয়। আপনি আপনার পাইপলাইনের উপাদানগুলি তৈরি করতে এই গ্রন্থাগারগুলি ব্যবহার করবেন যাতে আপনার কোডটি আপনার পাইপলাইনের অনন্য দিকগুলিতে ফোকাস করতে পারে।

টিএফএক্স লাইব্রেরিতে অন্তর্ভুক্ত রয়েছে:

  • টেনসরফ্লো ডেটা ভ্যালিডেশন (টিএফডিভি) মেশিন লার্নিং ডেটা বিশ্লেষণ এবং যাচাই করার জন্য একটি গ্রন্থাগার। এটি অত্যন্ত স্কেলযোগ্য এবং টেনসরফ্লো এবং টিএফএক্সের সাথে ভালভাবে কাজ করার জন্য ডিজাইন করা হয়েছে। টিএফডিভি অন্তর্ভুক্ত:

    • প্রশিক্ষণ এবং পরীক্ষার ডেটার সংক্ষিপ্ত পরিসংখ্যানগুলির স্কেলেবল গণনা।
    • ডেটা বিতরণ এবং পরিসংখ্যানগুলির জন্য দর্শকের সাথে সংহতকরণ, পাশাপাশি ডেটাসেটের (মুখের) জোড়গুলির তুলনা করা।

    • প্রয়োজনীয় মান, ব্যাপ্তি এবং শব্দভান্ডারগুলির মতো ডেটা সম্পর্কে প্রত্যাশা বর্ণনা করতে স্বয়ংক্রিয় ডেটা-স্কিমা প্রজন্ম।

    • আপনাকে স্কিমা পরিদর্শন করতে সহায়তা করার জন্য একটি স্কিমা ভিউয়ার।

    • অনুপস্থিতি সনাক্তকরণের জন্য অ্যানোমালি সনাক্তকরণ, যেমন অনুপস্থিত বৈশিষ্ট্য, সীমার বাইরে থাকা মান বা ভুল বৈশিষ্ট্যের ধরণের কয়েকটি নাম উল্লেখ করতে।

    • একটি ব্যতিক্রমী ভিউয়ার যাতে আপনি দেখতে পান যে কোন বৈশিষ্ট্যগুলিতে অনিয়ম রয়েছে এবং সেগুলি সংশোধন করতে আরও শিখতে পারেন।

  • টেনসরফ্লো ট্রান্সফর্ম (টিএফটি) টেনসরফ্লো সহ ডেটা প্রিপ্রোসেসিংয়ের জন্য একটি গ্রন্থাগার। টেনসরফ্লো ট্রান্সফর্ম এমন ডেটার জন্য দরকারী যা একটি পূর্ণ পাসের প্রয়োজন, যেমন:

    • গড় এবং স্ট্যান্ডার্ড বিচ্যুতি দ্বারা একটি ইনপুট মানকে সাধারণ করুন।
    • সমস্ত ইনপুট মানগুলিতে শব্দভাণ্ডার তৈরি করে স্ট্রিংগুলিকে পূর্ণসংখ্যায় রূপান্তর করুন।
    • পর্যবেক্ষিত ডেটা বিতরণের উপর ভিত্তি করে বালতিগুলিতে অ্যাসেট দিয়ে পূর্ণসংখ্যায় ফ্লোটকে রূপান্তর করুন।
  • টেনসরফ্লো টিএফএক্স সহ প্রশিক্ষণ মডেলগুলির জন্য ব্যবহৃত হয়। এটি প্রশিক্ষণ ডেটা এবং মডেলিং কোড ingests এবং একটি SavedModel ফলাফল তৈরি করে। এটি ইনপুট ডেটা প্রিপ্রসেসিংয়ের জন্য টেনসরফ্লো ট্রান্সফর্ম দ্বারা নির্মিত একটি বৈশিষ্ট্য ইঞ্জিনিয়ারিং পাইপলাইনকেও সংহত করে।

    কেরাসটুনার মডেলটির হাইপারপ্যারামিটারগুলি সুর ​​করার জন্য ব্যবহৃত হয়।

  • টেনসরফ্লো মডেল অ্যানালাইসিস (টিএফএমএ) টেনসরফ্লো মডেলগুলি মূল্যায়নের জন্য একটি গ্রন্থাগার। এটি টেনসরফ্লো সহ একটি ইভালসেভডমডেল তৈরি করতে ব্যবহৃত হয়, যা এর বিশ্লেষণের ভিত্তি হয়ে ওঠে। এটি ব্যবহারকারীদের তাদের প্রশিক্ষক হিসাবে সংজ্ঞায়িত একই ম্যাট্রিক ব্যবহার করে বিতরণ পদ্ধতিতে বিপুল পরিমাণে ডেটাতে তাদের মডেলগুলি মূল্যায়ন করতে দেয়। এই মেট্রিকগুলি বিভিন্ন ধরণের ডেটার টুকরোতে গণনা করা যায় এবং বৃহস্পতি নোটবুকগুলিতে ভিজ্যুয়ালাইজ করা যায়।

  • টেনসরফ্লো মেটাডেটা (টিএফএমডি) মেটাডেটার জন্য স্ট্যান্ডার্ড উপস্থাপনা সরবরাহ করে যা টেনসরফ্লো সহ মেশিন লার্নিং মডেলগুলি প্রশিক্ষণ দেওয়ার সময় কার্যকর useful মেটাডেটা ইনপুট ডেটা বিশ্লেষণের সময় হাত দ্বারা বা স্বয়ংক্রিয়ভাবে উত্পাদিত হতে পারে এবং ডেটা বৈধতা, অনুসন্ধান এবং রূপান্তরকরণের জন্য গ্রাস হতে পারে। মেটাডেটা সিরিয়ালাইজেশন ফর্ম্যাটগুলির মধ্যে রয়েছে:

    • ট্যাবুলার ডেটা (উদাহরণস্বরূপ, tf.Ees উদাহরণ) বর্ণনা করে একটি স্কিমা।
    • এই জাতীয় ডেটাসেটের উপর সংক্ষিপ্তসার পরিসংখ্যানগুলির সংকলন।
  • এমএল মেটাডেটা (এমএলএমডি) এমএল বিকাশকারী এবং ডেটা বিজ্ঞানী কর্মপ্রবাহের সাথে সম্পর্কিত মেটাডেটা রেকর্ডিং এবং পুনরুদ্ধারের জন্য একটি গ্রন্থাগার। প্রায়শই মেটাডেটা টিএফএমডি উপস্থাপনা ব্যবহার করে। এমএলএমডি এসকিউএল-লাইট , মাইএসকিউএল এবং অন্যান্য অনুরূপ ডেটা স্টোর ব্যবহার করে অধ্যবসায় পরিচালনা করে।

সাপোর্টিং টেকনোলজিস

প্রয়োজনীয়

  • অ্যাপাচি বিম একটি ওপেন সোর্স, ব্যাচ উভয়কে সংজ্ঞায়িত করার জন্য এবং ডেটা-সমান্তরাল প্রক্রিয়াকরণ পাইপলাইনের স্ট্রিমিংয়ের জন্য একীভূত মডেল। টিএফএক্স ডেটা সমান্তরাল পাইপলাইনগুলি প্রয়োগ করতে অ্যাপাচি বিম ব্যবহার করে। পাইপলাইনটি তখন বিমের সমর্থিত বিতরণ প্রক্রিয়াকরণ ব্যাক-এন্ডের মধ্য দিয়ে কার্যকর করা হয়, যার মধ্যে অ্যাপাচি ফ্লিংক, অ্যাপাচি স্পার্ক, গুগল ক্লাউড ডেটাফ্লো এবং অন্যান্য অন্তর্ভুক্ত রয়েছে।

.চ্ছিক

আপাচে এয়ারফ্লো এবং কুবেফ্লো এর মতো অর্কেস্ট্রেটাররা এমএল পাইপলাইনটি কনফিগার, পরিচালনা, নিরীক্ষণ এবং রক্ষণাবেক্ষণকে আরও সহজ করে তোলে।

  • অ্যাপাচি এয়ারফ্লো প্রোগ্রামিয়ালি লেখক, সময়সূচী এবং কর্মপ্রবাহের নিরীক্ষণের একটি প্ল্যাটফর্ম। টিএফএক্স কর্মের প্রবাহকে অ্যাকাইক্লিক গ্রাফ (ডিএজি) হিসাবে ওয়ার্কফ্লো লেখার জন্য এয়ারফ্লো ব্যবহার করে। এয়ারফ্লো শিডিয়ুলার নির্ধারিত নির্ভরতা অনুসরণ করার পরে কর্মীদের একটি অ্যারেতে কার্য সম্পাদন করে। সমৃদ্ধ কমান্ড লাইন ইউটিলিটিগুলি ডিএজিগুলিতে কিছুটা জটিল সার্জারি করে তোলে a সমৃদ্ধ ইউজার ইন্টারফেসটি উত্পাদন চলমান পাইপলাইনগুলি কল্পনা করা, অগ্রগতি নিরীক্ষণ করা এবং যখন প্রয়োজন হয় তখন সমস্যা সমাধানের সহজ করে তোলে। যখন ওয়ার্কফ্লোগুলি কোড হিসাবে সংজ্ঞায়িত করা হয়, তখন তারা আরও রক্ষণাবেক্ষণযোগ্য, সংস্করণযোগ্য, টেস্টেবল এবং সহযোগী হয়ে ওঠে।

  • কুবেরফ্লু কুবারনেটস সহজ, পোর্টেবল এবং স্কেলেবল হিসাবে মেশিন লার্নিং (এমএল) ওয়ার্কফ্লোগুলি স্থাপনের জন্য উত্সর্গীকৃত। কুবেফ্লো-এর লক্ষ্য অন্যান্য পরিষেবাগুলি পুনরায় তৈরি করা নয়, তবে এমএলকে বিভিন্ন অবকাঠামোগত কাঠামোর জন্য সেরা-বংশের ওপেন-সোর্স সিস্টেম মোতায়েনের একটি সহজ উপায় প্রদান করা। কিউফ্লো পাইপলাইন পরীক্ষা এবং নোটবুক ভিত্তিক অভিজ্ঞতার সাথে একীভূত কুবেফ্লোতে পুনরুত্পাদনযোগ্য ওয়ার্কফ্লোগুলির রচনা এবং সম্পাদন সক্ষম করে। কুবেরনেটসে কুবলফ্লু পাইপলাইন পরিষেবাগুলিতে স্কেলগুলিতে জটিল এমএল পাইপলাইনগুলি বিকাশ, পরিচালনা এবং পরিচালনা করার জন্য হোস্ট মেটাডাটা স্টোর, ধারক ভিত্তিক অর্কেস্টেশন ইঞ্জিন, নোটবুক সার্ভার এবং ইউআই অন্তর্ভুক্ত রয়েছে। কুবেফ্লো পাইপলাইন এসডিকে প্রোগ্রামগুলি ভিত্তিক পাইপলাইনগুলির উপাদান তৈরি এবং ভাগ করার জন্য অনুমতি দেয়।

বহনযোগ্যতা এবং আন্তঃক্রিয়াশীলতা

টিএফএক্স অ্যাপাচি এয়ারফ্লো , অ্যাপাচি বিম এবং কুবেফ্লো সহ একাধিক পরিবেশ এবং অর্কেস্ট্রেশন ফ্রেমওয়ার্কের পোর্টেবল হতে ডিজাইন করা হয়েছে। এটি অন- প্রাইমিসহ এবং গুগল ক্লাউড প্ল্যাটফর্ম (জিসিপি) এর মতো ক্লাউড প্ল্যাটফর্ম সহ বিভিন্ন কম্পিউটিং প্ল্যাটফর্মগুলিতেও পোর্টেবল। বিশেষত, প্রশিক্ষণ ও ভবিষ্যদ্বাণী সম্পর্কিত ক্লাউড এআই প্ল্যাটফর্ম এবং এমএল লাইফসাইকের অন্যান্য বেশ কয়েকটি দিকের জন্য বিতরণ করা ডেটা প্রসেসিংয়ের জন্য ক্লাউড ডেটাফ্লো যেমন সার্ফাল ম্যানেজড জিসিপি পরিষেবাদিতে টিএফএক্স আন্তঃসংযোগ স্থাপন করে।

মডেল বনাম সাভেদমোডেল

মডেল

একটি মডেল হ'ল প্রশিক্ষণ প্রক্রিয়ার আউটপুট। এটি প্রশিক্ষণের প্রক্রিয়া চলাকালীন ওজনগুলির ক্রমিক রেকর্ড serial এই ওজনগুলি পরবর্তীকালে নতুন ইনপুট উদাহরণগুলির জন্য পূর্বাভাসগুলি গণনা করতে ব্যবহার করা যেতে পারে। টিএফএক্স এবং টেনসরফ্লো-র জন্য, 'মডেল' বলতে সেই পয়েন্ট পর্যন্ত শিখানো ওজন ধারণকারী চেকপয়েন্টগুলিকে বোঝায়।

নোট করুন যে 'মডেল' টেনসরফ্লো গণনা গ্রাফের (যেমন একটি পাইথন ফাইল) সংজ্ঞাটিও বোঝায় যা ভবিষ্যদ্বাণীটি কীভাবে গণনা করা হবে তা প্রকাশ করে। দুটি ইন্দ্রিয় প্রসঙ্গে ভিত্তিতে বিনিময়যোগ্য হিসাবে ব্যবহৃত হতে পারে।

সেভডমডেল

  • সেভডমোডেল কী: একটি টেনসরফ্লো মডেলের সার্বজনীন, ভাষা-নিরপেক্ষ, হারমেটিক , পুনরুদ্ধারযোগ্য সিরিয়ালাইজেশন।
  • এটি গুরুত্বপূর্ণ কেন : এটি একক বিমূর্ততা ব্যবহার করে টেনসরফ্লো মডেলগুলি উত্পাদন, রূপান্তর এবং গ্রাস করতে উচ্চ-স্তরের সিস্টেমগুলিকে সক্ষম করে।

সাভেডমোডেল হ'ল উত্পাদনে টেনসরফ্লো মডেল পরিবেশন করার জন্য, বা স্থানীয় মোবাইল বা জাভাস্ক্রিপ্ট অ্যাপ্লিকেশনটির জন্য প্রশিক্ষিত মডেল রফতানি করার জন্য প্রস্তাবিত সিরিয়ালাইজেশন ফর্ম্যাট। উদাহরণস্বরূপ, পূর্বাভাস দেওয়ার জন্য কোনও মডেলটিকে একটি আরইএসটি পরিষেবাতে পরিণত করতে, আপনি মডেলটিকে সেভডমডেল হিসাবে সিরিয়ালাইজ করতে পারেন এবং টেনসরফ্লো সার্ভিং ব্যবহার করে এটি পরিবেশন করতে পারেন। আরও তথ্যের জন্য টেনসরফ্লো মডেল পরিবেশন করা দেখুন।

স্কিমা

কিছু টিএফএক্স উপাদান আপনার ইনপুট ডেটার একটি স্কিমা বলে একটি বিবরণ ব্যবহার করে। স্কিমাটি স্কিমা.প্রোটোর একটি উদাহরণ। স্কিমাস হ'ল এক ধরণের প্রোটোকল বাফার , যা সাধারণত "প্রোটোবুফ" নামে পরিচিত। স্কিমা বৈশিষ্ট্য মানগুলির জন্য ডেটা প্রকারগুলি নির্দিষ্ট করতে পারে, কোনও বৈশিষ্ট্য সমস্ত উদাহরণের মধ্যে উপস্থিত থাকতে হবে কিনা, অনুমোদিত মান সীমা, এবং অন্যান্য বৈশিষ্ট্যগুলি সরবরাহ করতে পারে। টেনসরফ্লো ডেটা যাচাইকরণ (টিএফডিভি) ব্যবহারের একটি সুবিধা হ'ল এটি প্রশিক্ষণের ডেটা থেকে অনুক্রমের ধরণ, বিভাগ এবং রেঞ্জগুলি স্বয়ংক্রিয়ভাবে স্কিমা তৈরি করবে।

এখানে একটি স্কিমা প্রোটবুফের একটি অংশ রয়েছে:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

নিম্নলিখিত উপাদানগুলি স্কিমা ব্যবহার করে:

  • টেনসরফ্লো ডেটা বৈধকরণ
  • টেনসরফ্লো ট্রান্সফর্ম

একটি সাধারণ টিএফএক্স পাইপলাইনে টেনসরফ্লো ডেটা বৈধকরণ একটি স্কিমা উত্পন্ন করে, যা অন্যান্য উপাদানগুলি গ্রাস করে।

টিএফএক্সের সাথে বিকাশ করছে

টিএফএক্স আপনার স্থানীয় মেশিনে গবেষণা, পরীক্ষা-নিরীক্ষা, এবং ডেপোলেটের মাধ্যমে, মেশিন লার্নিং প্রকল্পের প্রতিটি পর্যায়ে একটি শক্তিশালী প্ল্যাটফর্ম সরবরাহ করে। কোডের সদৃশতা এড়াতে এবং স্কিউ প্রশিক্ষণের জন্য সম্ভাব্যতা দূর করার জন্য, প্রশিক্ষিত মডেলদের উভয়ই প্রশিক্ষণ ও স্থাপনার জন্য আপনার টিএফএক্স পাইপলাইনটি প্রয়োগ করার জন্য এবং ট্রান্সফর্ম উপাদানগুলি ব্যবহার করুন যা প্রশিক্ষণ এবং অনুমান উভয়ের জন্য টেনসরফ্লো ট্রান্সফর্ম লাইব্রেরিকে উত্তোলন করে। এটি করে আপনি একই প্রিপ্রোসেসিং এবং বিশ্লেষণ কোডটি ধারাবাহিকভাবে ব্যবহার করবেন এবং আপনার প্রশিক্ষণপ্রাপ্ত মডেলগুলিকে উত্পাদনে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত ডেটার মধ্যে পার্থক্য এড়াতে পারবেন, পাশাপাশি সেই কোডটি একবার লেখার মাধ্যমে উপকৃত হবেন।

ডেটা এক্সপ্লোরেশন, ভিজ্যুয়ালাইজেশন এবং পরিষ্কার করা

ডেটা এক্সপ্লোরেশন, ভিজ্যুয়ালাইজেশন এবং পরিষ্কার করা

টিএফএক্স পাইপলাইনগুলি সাধারণত একটি উদাহরণজেন উপাদান দিয়ে শুরু হয় যা ইনপুট ডেটা গ্রহণ করে এবং এটিকে tf. উদাহরণ হিসাবে ফর্ম্যাট করে। প্রশিক্ষণ এবং মূল্যায়ন ডেটাসেটগুলিতে ডেটা বিভক্ত হওয়ার পরে প্রায়শই এটি করা হয় যাতে উদাহরণস্বরূপ উপাদানগুলির দুটি কপি থাকে, প্রশিক্ষণ ও মূল্যায়নের জন্য প্রত্যেকে একটি করে। এটি সাধারণত একটি পরিসংখ্যান জেন উপাদান এবং একটি স্কিমাজেন উপাদান অনুসরণ করে যা আপনার ডেটা পরীক্ষা করে ডেটা স্কিমা এবং পরিসংখ্যান নির্ধারণ করবে। স্কিমা এবং পরিসংখ্যানগুলি উদাহরণস্বরূপ উপাদান দ্বারা গ্রাস করা হবে, যা আপনার ডেটাতে অসাধারণতা , হারানো মান এবং ভুল ডেটা প্রকারের সন্ধান করবে। এই সমস্ত উপাদান টেনসরফ্লো ডেটা বৈধকরণ গ্রন্থাগারের সক্ষমতা অর্জন করে।

প্রাথমিক অনুসন্ধান, ভিজ্যুয়ালাইজেশন এবং আপনার ডেটাসেট পরিষ্কার করার সময় টেনসরফ্লো ডেটা বৈধকরণ (টিএফডিভি) একটি মূল্যবান সরঞ্জাম। টিএফডিভি আপনার ডেটা পরীক্ষা করে এবং উপাত্তের ধরণ, বিভাগ এবং রেঞ্জগুলিকে অনুমান করে এবং তারপরে স্বয়ংক্রিয়ভাবে ব্যধি এবং হারিয়ে যাওয়া মানগুলি সনাক্ত করতে সহায়তা করে। এটি ভিজ্যুয়ালাইজেশন সরঞ্জামও সরবরাহ করে যা আপনাকে আপনার ডেটাসেটটি পরীক্ষা এবং বুঝতে সহায়তা করে। আপনার পাইপলাইনটি সম্পূর্ণ হওয়ার পরে আপনি এমএলএমডি থেকে মেটাডেটা পড়তে পারেন এবং আপনার ডেটা বিশ্লেষণের জন্য একটি বৃহত্তর নোটবুকে টিএফডিভি এর ভিজ্যুয়ালাইজেশন সরঞ্জামগুলি ব্যবহার করতে পারেন।

আপনার প্রাথমিক মডেল প্রশিক্ষণ এবং স্থাপনার অনুসরণ করে, টিএফডিভি আপনার মোতায়েন করা মডেলগুলিতে অনুমিত অনুরোধগুলি থেকে নতুন ডেটা পর্যবেক্ষণ করতে, এবং অসঙ্গতি এবং / অথবা প্রবাহের জন্য সন্ধান করতে পারে। এটি সময় সিরিজের ডেটাগুলির জন্য বিশেষত কার্যকর যা প্রবণতা বা seasonতুরতার ফলস্বরূপ সময়ের সাথে সাথে পরিবর্তিত হয় এবং যখন ডেটা সমস্যা রয়েছে বা মডেলগুলিকে নতুন ডেটাতে পুনরায় প্রশিক্ষণ করা দরকার তখন তা জানাতে সহায়তা করতে পারে।

ডেটা ভিজ্যুয়ালাইজেশন

আপনি আপনার পাইপলাইনের যে টিএফডিভি ব্যবহার করে (সাধারণত স্ট্যাটিস্টিক্স জেন, স্কিমাজেন এবং উদাহরণভালিডেটর) ​​ব্যবহার করে তার বিভাগের মাধ্যমে আপনার ডেটা আপনার প্রথম রান শেষ করার পরে আপনি একটি বৃহত্তর স্টাইল নোটবুকের ফলাফলগুলি কল্পনা করতে পারবেন। অতিরিক্ত রানের জন্য আপনি এই ফলাফলগুলি তুলনা করতে পারবেন যখনই আপনি অ্যাডজাস্টমেন্ট করবেন, যতক্ষণ না আপনার ডেটা আপনার মডেল এবং অ্যাপ্লিকেশনটির জন্য অনুকূল হয়।

আপনি এই উপাদানগুলির এই মৃত্যুদন্ড কার্যকর করার ফলাফলগুলি সনাক্ত করতে প্রথমে এমএল মেটাডেটা (এমএলএমডি) জিজ্ঞাসা করবেন এবং তারপরে আপনার নোটবুকে ভিজ্যুয়ালাইজেশন তৈরি করতে টিএফডিভিতে ভিজ্যুয়ালাইজেশন সমর্থন API ব্যবহার করুন use এর মধ্যে রয়েছে tfdv.load_statics () এবং tfdv.visualize_statics () এই ভিজ্যুয়ালাইজেশন ব্যবহার করে আপনি আপনার ডেটাসেটের বৈশিষ্ট্যগুলি আরও ভালভাবে বুঝতে পারবেন এবং প্রয়োজনে প্রয়োজনীয় হিসাবে সংশোধন করতে পারেন।

মডেলগুলি বিকাশ এবং প্রশিক্ষণ

ফিচার ইঞ্জিনিয়ারিং

একটি সাধারণ টিএফএক্স পাইপলাইনে একটি ট্রান্সফর্ম উপাদান অন্তর্ভুক্ত থাকবে, যা টেনসরফ্লো ট্রান্সফর্ম (টিএফটি) গ্রন্থাগারের সক্ষমতা অর্জনের মাধ্যমে বৈশিষ্ট্য ইঞ্জিনিয়ারিং সম্পাদন করবে। একটি রূপান্তর উপাদানটি স্কিমাজেন উপাদান দ্বারা নির্মিত স্কিমা গ্রাস করে এবং আপনার মডেলটিকে প্রশিক্ষণের জন্য ব্যবহৃত বৈশিষ্ট্যগুলি তৈরি করতে, সংহত করতে এবং রূপান্তর করতে ডেটা ট্রান্সফর্মেশন প্রয়োগ করে । অনুপস্থিত মানগুলির ধরণ এবং ধরণের রূপান্তরকরণও ট্রান্সফর্ম উপাদানটিতে করা উচিত যদি কখনও সম্ভাবনা থাকে তবে এগুলি অনুমানের অনুরোধের জন্য প্রেরিত ডেটাতে উপস্থিত থাকবে। টিএফএক্স প্রশিক্ষণের জন্য টেনসরফ্লো কোড ডিজাইন করার সময় কিছু গুরুত্বপূর্ণ বিবেচনা রয়েছে

মডেলিং এবং প্রশিক্ষণ

ট্রান্সফর্ম উপাদানটির ফলাফল হ'ল একটি সেভডমডেল যা ট্রেনার উপাদান চলাকালীন টেনসরফ্লোতে আপনার মডেলিং কোডটিতে আমদানি করা এবং ব্যবহৃত হবে। এই স্যাভডমোডেলটিতে ট্রান্সফর্ম উপাদানটিতে তৈরি করা সমস্ত ডেটা ইঞ্জিনিয়ারিং ট্রান্সফর্মেশনগুলি অন্তর্ভুক্ত রয়েছে, যাতে প্রশিক্ষণ এবং অনুমান উভয়ের সময় অভিন্ন ট্রান্সফর্মগুলি সঠিক একই কোড ব্যবহার করে সম্পাদিত হয়। ট্রান্সফর্ম উপাদানটি থেকে স্যাভডমডেল সহ মডেলিং কোডটি ব্যবহার করে, আপনি আপনার প্রশিক্ষণ এবং মূল্যায়নের ডেটা গ্রহণ করতে এবং আপনার মডেলটিকে প্রশিক্ষণ দিতে পারেন।

অনুমান ভিত্তিক মডেলগুলির সাথে কাজ করার সময়, আপনার মডেলিং কোডের শেষ বিভাগটি আপনার মডেলটিকে সেভডমোডেল এবং ইভালসেভডমডেল উভয় হিসাবে সংরক্ষণ করতে হবে। একটি ইভালসেভডমডেল হিসাবে সংরক্ষণ নিশ্চিত করে যে প্রশিক্ষণের সময় ব্যবহৃত মেট্রিকগুলি মূল্যায়নের সময়ও পাওয়া যায় (নোট করুন যে কেরাস ভিত্তিক মডেলগুলির জন্য এটি প্রয়োজনীয় নয়)। একটি ইভালস্যাভডমোডেল সংরক্ষণ করার জন্য আপনার ট্রেনার উপাদানটিতে টেনসরফ্লো মডেল বিশ্লেষণ (টিএফএমএ) লাইব্রেরি আমদানি করা দরকার।

9 বি 2009038 এ

মডেলের জন্য হাইপারপ্যারামিটারগুলি (যেমন, স্তরগুলির সংখ্যা) টিউন করতে ট্রেনারের আগে একটি alচ্ছিক টিউনার উপাদান যুক্ত করা যেতে পারে can প্রদত্ত মডেল এবং হাইপারপ্যারামিটারগুলির অনুসন্ধানের জায়গার সাথে, অ্যালগরিদম টিউনিং উদ্দেশ্যটির উপর ভিত্তি করে সেরা হাইপারপ্যারামিটারগুলি খুঁজে পাবেন।

মডেল পারফরম্যান্স বিশ্লেষণ এবং বোঝা

মডেল বিশ্লেষণ

প্রাথমিক মডেল বিকাশ এবং প্রশিক্ষণ অনুসরণ করে বিশ্লেষণ করা এবং সত্যই আপনার মডেলটির কার্যকারিতা বোঝা গুরুত্বপূর্ণ। একটি সাধারণ টিএফএক্স পাইপলাইনে একটি মূল্যায়নকারী উপাদান অন্তর্ভুক্ত থাকবে, যা টেনসরফ্লো মডেল অ্যানালাইসিস (টিএফএমএ) লাইব্রেরির সক্ষমতা অর্জন করে, যা এই পর্যায়ে উন্নয়নের জন্য একটি পাওয়ার সরঞ্জাম সরবরাহ করে। মূল্যায়নকারী উপাদানটি আপনাকে উপরে রফতানি করা মডেলটি গ্রাস করে এবং tfma.SlicingSpec একটি তালিকা নির্দিষ্ট করার অনুমতি দেয় যা আপনি আপনার মডেলটির কার্য সম্পাদন এবং বিশ্লেষণ করার সময় ব্যবহার করতে পারেন। প্রতিটি SlicingSpec আপনার প্রশিক্ষণ ডেটার একটি স্লাইস সংজ্ঞায়িত করে যা আপনি পরীক্ষা করতে চান যেমন শ্রেণীবদ্ধ বৈশিষ্ট্যগুলির জন্য নির্দিষ্ট বিভাগ বা সংখ্যাসূচক বৈশিষ্ট্যের জন্য নির্দিষ্ট রেঞ্জ।

উদাহরণস্বরূপ, আপনার গ্রাহকদের বিভিন্ন বিভাগের জন্য আপনার মডেলটির পারফরম্যান্স বোঝার চেষ্টা করার জন্য এটি গুরুত্বপূর্ণ হবে, যা বার্ষিক ক্রয়, ভৌগলিক ডেটা, বয়স গ্রুপ বা লিঙ্গ দ্বারা ভাগ করা যায়। এটি দীর্ঘ লেজযুক্ত ডেটাসেটগুলির জন্য বিশেষত গুরুত্বপূর্ণ হতে পারে, যেখানে একটি প্রভাবশালী গোষ্ঠীর পারফরম্যান্স গুরুত্বপূর্ণ, তবুও ছোট গ্রুপগুলির জন্য অগ্রহণযোগ্য পারফরম্যান্সটি মাস্ক করতে পারে। উদাহরণস্বরূপ, আপনার মডেল গড় কর্মীদের পক্ষে ভাল পারফরম্যান্স করতে পারে তবে নির্বাহী কর্মীদের পক্ষে মারাত্মকভাবে ব্যর্থ হতে পারে এবং এটি আপনার পক্ষে জেনে রাখা গুরুত্বপূর্ণ important

মডেল বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশন

আপনি আপনার মডেল প্রশিক্ষণ এবং চলমান মাধ্যমে আপনার ডেটা আপনার প্রথমবার চালনার সম্পন্ন করার পর Evaluator উপাদান (যা লিভারেজ TFMA প্রশিক্ষণ ফলাফলে), আপনি একটি Jupyter শৈলী নোটবুক ফলাফল ঠাহর করতে পারেন। অতিরিক্ত রানের জন্য আপনি এই ফলাফলগুলি তুলনা করতে পারবেন সামঞ্জস্য করার সময়, যতক্ষণ না আপনার ফলাফলগুলি আপনার মডেল এবং অ্যাপ্লিকেশনটির জন্য অনুকূল হয়।

আপনি এই উপাদানগুলির এই মৃত্যুদন্ড কার্যকর করার ফলাফলগুলি সনাক্ত করতে প্রথমে এমএল মেটাডেটা (এমএলএমডি) জিজ্ঞাসা করবেন এবং তারপরে আপনার নোটবুকটিতে ভিজ্যুয়ালাইজেশন তৈরি করতে টিএফএমএতে ভিজ্যুয়ালাইজেশন সমর্থন API ব্যবহার করুন use এর মধ্যে রয়েছে tfma.load_eval_results এবং tfma.view.render_slicing_metics এই ভিজ্যুয়ালাইজেশনটি ব্যবহার করে আপনি আপনার মডেলের বৈশিষ্ট্যগুলি আরও ভালভাবে বুঝতে পারবেন এবং প্রয়োজনে প্রয়োজনীয় হিসাবে সংশোধন করতে পারেন।

মডেল পারফরম্যান্স যাচাই করা হচ্ছে

কোনও মডেলের পারফরম্যান্স বিশ্লেষণের অংশ হিসাবে আপনি কোনও বেসলাইন (যেমন বর্তমানে পরিবেশিত মডেল) এর বিপরীতে পারফরম্যান্সটিকে বৈধতা দিতে চাইতে পারেন। মডেল বৈধতা মূল্যায়নকারী উপাদানটিতে প্রার্থী এবং বেসলাইন মডেল উভয়কেই পাস করে সঞ্চালিত হয়। মূল্যায়নকারী প্রার্থী এবং বেসলাইন উভয়ের জন্য পৃথক পৃথক মেট্রিকের সাথে সম্পর্কিত সেটের সাথে মেট্রিকগুলি (যেমন এওসি, ক্ষতি) গণনা করে। থ্রেশহোল্ডগুলি তখন প্রয়োগ করা যেতে পারে এবং আপনার মডেলগুলিকে উত্পাদনের দিকে ঠেলে দেয়।

একটি মডেল পরিবেশন করা যেতে পারে যে যাচাই করা

ইনফ্রা বৈধকরণ

প্রশিক্ষিত মডেল মোতায়েন করার আগে, আপনি মডেলটি পরিবেশিত অবকাঠামোটিতে সত্যিই পরিবেশনযোগ্য কিনা তা যাচাই করতে চাইতে পারেন। উত্পাদনের পরিবেশে এটি সুনির্দিষ্টভাবে গুরুত্বপূর্ণ যে সদ্য প্রকাশিত মডেল সিস্টেমটিকে পূর্বাভাসগুলি সরবরাহ করতে বাধা দেয় না। ইনফ্রাভালিডিয়েটর উপাদানটি আপনার মডেলকে একটি স্যান্ডবক্সযুক্ত পরিবেশে ক্যানারি স্থাপন করবে এবং modelচ্ছিকভাবে আপনার মডেলটি সঠিকভাবে কাজ করে কিনা তা পরীক্ষা করার জন্য সত্যিকারের অনুরোধগুলি প্রেরণ করবে।

স্থাপনার লক্ষ্যমাত্রা

আপনি একবারে এমন কোনও মডেল বিকাশ ও প্রশিক্ষণ নেবেন যার সাথে আপনি খুশি হন, এখন সময় এটি এক বা একাধিক স্থাপনার লক্ষ্য (গুলি) এ স্থাপন করার সময় যেখানে এটি অনুমানের অনুরোধগুলি পাবেন। টিএফএক্স স্থাপনার লক্ষ্যমাত্রার তিনটি শ্রেণিতে মোতায়েন সমর্থন করে। সেভডমোডেলস হিসাবে রফতানি হওয়া প্রশিক্ষিত মডেলগুলি যে কোনও বা এই সমস্ত স্থাপনার লক্ষ্যবস্তুতে মোতায়েন করা যেতে পারে।

উপাদান প্রবাহ

অনুমান: টেনসরফ্লো পরিবেশন

টেনসরফ্লো সার্ভিং (টিএফএস) হ'ল উত্পাদন পরিবেশের জন্য ডিজাইন করা মেশিন লার্নিং মডেলগুলির জন্য একটি নমনীয়, উচ্চ-কর্মক্ষমতা পরিবেশনকারী সিস্টেম system এটি একটি সেভডমডেল গ্রাস করে এবং আরএসটি বা জিআরপিসি ইন্টারফেসের মধ্যে অন্তর্ভুক্তির অনুরোধগুলি গ্রহণ করবে। এটি এক বা একাধিক নেটওয়ার্ক সার্ভারে প্রক্রিয়াগুলির সেট হিসাবে চলমান, সিঙ্ক্রোনাইজেশন এবং বিতরণকৃত গণনা পরিচালনা করতে বেশ কয়েকটি উন্নত আর্কিটেকচারের একটি ব্যবহার করে। টিএফএস সমাধানগুলি বিকাশ এবং মোতায়েন সম্পর্কিত আরও তথ্যের জন্য টিএফএস ডকুমেন্টেশন দেখুন।

একটি সাধারণ পাইপলাইনে, একটি স্যাভডমডেল যা ট্রেনার উপাদানকে প্রশিক্ষণ দেওয়া হয়েছে তা প্রথমে ইনফ্রাভালিডেটর উপাদানটিতে ইনফ্রা-বৈধ হবে। ইনভ্রাভালিডিয়েটার আসলে সেভডমডেল পরিবেশন করতে একটি ক্যানারি টিএফএস মডেল সার্ভার চালু করে। যদি বৈধতা পাস হয়ে যায় তবে একটি পুশার উপাদানটি শেষ পর্যন্ত আপনার টিএফএস অবকাঠামোতে সেভডমডেল মোতায়েন করবে। এর মধ্যে একাধিক সংস্করণ এবং মডেল আপডেট পরিচালনা করা অন্তর্ভুক্ত।

নেটিভ মোবাইল এবং আইওটি অ্যাপ্লিকেশনগুলিতে গুরুত্ব: টেনসরফ্লো লাইট

টেনসরফ্লো লাইট হ'ল সরঞ্জামগুলির একটি স্যুট যা বিকাশকারীদের তাদের প্রশিক্ষিত টেনসরফ্লো মডেলগুলি স্থানীয় মোবাইল এবং আইওটি অ্যাপ্লিকেশনগুলিতে ব্যবহার করতে সহায়তা করার জন্য উত্সর্গীকৃত। এটি টেনসরফ্লো সার্ভিংয়ের মতো একই সেভডমোডেল গ্রহণ করে এবং মোবাইল এবং আইওটি ডিভাইসগুলিতে চলমান চ্যালেঞ্জগুলির জন্য ফলাফলযুক্ত মডেলগুলির আকার এবং কার্যকারিতা অনুকূলকরণের জন্য কোয়ান্টাইজেশন এবং ছাঁটাইয়ের মতো অপ্টিমাইজেশন প্রয়োগ করে। টেনসরফ্লো লাইট ব্যবহারের আরও তথ্যের জন্য টেনসরফ্লো লাইট ডকুমেন্টেশন দেখুন।

জাভাস্ক্রিপ্টে অনুমান: টেনসরফ্লো জেএস

টেনসরফ্লো জেএস ব্রাউজারে এবং নোড.জেএস-তে এমএল মডেলগুলি প্রশিক্ষণ এবং স্থাপনের জন্য একটি জাভাস্ক্রিপ্ট লাইব্রেরি is এটি টেনসরফ্লো সার্ভিং এবং টেনসরফ্লো লাইট হিসাবে একই সেভডমডেলগুলি গ্রাস করে এবং এগুলি টেনসরফ্লো.জেএস ওয়েব ফর্ম্যাটে রূপান্তর করে। টেনসরফ্লো জেএস ব্যবহারের আরও তথ্যের জন্য টেনসরফ্লো জেএস ডকুমেন্টেশন দেখুন।

এয়ারফ্লো দিয়ে একটি টিএফএক্স পাইপলাইন তৈরি করা হচ্ছে

বিশদ জন্য এয়ারফ্লো কর্মশালা পরীক্ষা করুন

কুবেরফ্লো দিয়ে একটি টিএফএক্স পাইপলাইন তৈরি করা হচ্ছে

সেটআপ

পাইপলাইনগুলি স্কেল চালাতে কুবেরফ্লোর একটি কুবারনেটস ক্লাস্টার প্রয়োজন। কুবেরফ্লো ক্লাস্টার মোতায়েনের জন্য বিকল্পগুলির জন্য নির্দেশিকা যা কুবেফ্লো মোতায়েনের নির্দেশিকা দেখুন

টিএফএক্স পাইপলাইন কনফিগার করুন এবং চালান

কুবেরফ্লোতে টিএফএক্স উদাহরণ পাইপলাইন চালনার জন্য দয়া করে ক্লাউড এআই প্ল্যাটফর্ম পাইপলাইন টিউটোরিয়াল টিএফএক্স অনুসরণ করুন। টিএফএক্স উপাদানগুলি কুবেলফুল পাইপলাইন রচনা করার জন্য ধারক করা হয়েছে এবং নমুনাটি বড় পাবলিক ডেটাসেট পড়ার জন্য পাইপলাইনটি কনফিগার করার ক্ষমতা এবং মেঘের স্কেল পর্যায়ে প্রশিক্ষণ এবং ডেটা প্রসেসিং পদক্ষেপগুলি সম্পাদন করার ক্ষমতা চিত্রিত করে।

পাইপলাইন ক্রিয়াগুলির জন্য কমান্ড লাইন ইন্টারফেস

টিএফএক্স একটি ইউনিফাইড সিএলআই সরবরাহ করে যা অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো সহ বিভিন্ন অর্কেস্ট্রেটারের পাইপলাইনগুলি তৈরি, আপডেট, চালানো, তালিকা তৈরি এবং মুছার মতো সম্পূর্ণ পরিসীমা পাইপলাইন কর্ম সম্পাদন করতে সহায়তা করে। বিশদ জন্য, এই নির্দেশাবলী অনুসরণ করুন।