সাইন টিএফএক্স-অ্যাডনস সম্প্রদায়টিতে যোগদান করুন এবং টিএফএক্স আরও উন্নত করতে সহায়তা করুন!

টিএফএক্স ব্যবহারকারী গাইড

ভূমিকা

টিএফএক্স টেনসরফ্লো ভিত্তিক একটি গুগল-উত্পাদন-স্কেল মেশিন লার্নিং (এমএল) প্ল্যাটফর্ম। এটি আপনার মেশিন লার্নিং সিস্টেমটিকে সংজ্ঞায়িত, প্রবর্তন এবং নিরীক্ষণের জন্য প্রয়োজনীয় সাধারণ উপাদানগুলিকে একীভূত করার জন্য একটি কনফিগারেশন ফ্রেমওয়ার্ক এবং ভাগ করা লাইব্রেরি সরবরাহ করে।

টিএফএক্স 1.0

আমরা প্রাপ্যতা ঘোষনা করছে TFX 1.0.0 । এটি টিএফএক্সের প্রাথমিক পোস্ট-বিটা রিলিজ, যা স্থিতিশীল পাবলিক এপিআই এবং শিল্পকলা সরবরাহ করে। আপনি নিশ্চিত থাকতে পারেন যে আপনার ভবিষ্যত TFX পাইপলাইনগুলি সামঞ্জস্য সুযোগ এই সংজ্ঞায়িত মধ্যে আপগ্রেড করার পরে কাজ রাখা হবে বোঝায় যা RFC

স্থাপন

পাইথনপিপিআই

pip install tfx

নাইট প্যাকেজ

TFX এছাড়াও রাত্রিকালীন প্যাকেজ হোস্ট https://pypi-nightly.tensorflow.org Google মেঘ উপর। সর্বশেষতম রাতের প্যাকেজ ইনস্টল করতে, দয়া করে নিম্নলিখিত কমান্ডটি ব্যবহার করুন:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

এটি টিএনএফএক্সের প্রধান নির্ভরতা যেমন টেনসরফ্লো মডেল বিশ্লেষণ (টিএফএমএ), টেনসরফ্লো ডেটা বৈধকরণ (টিএফডিভি), টেনসরফ্লো ট্রান্সফর্ম (টিএফটি), টিএফএক্স বেসিক শেয়ার্ড লাইব্রেরি (টিএফএক্স-বিএসএল), এমএল মেটাডেটা (এমএলএমডি) জন্য রাত্রে প্যাকেজ ইনস্টল করবে।

টিএফএক্স সম্পর্কে

টিএফএক্স হ'ল উত্পাদনের পরিবেশে এমএল ওয়ার্কফ্লো তৈরি এবং পরিচালনা করার একটি প্ল্যাটফর্ম। টিএফএক্স নিম্নলিখিতগুলি সরবরাহ করে:

  • এমএল পাইপলাইন নির্মাণের জন্য একটি সরঞ্জামকিট। টিএফএক্স পাইপলাইনগুলি আপনাকে বেশ কয়েকটি প্ল্যাটফর্মগুলিতে আপনার এমএল কর্মপ্রবাহকে অর্কেস্টেট করতে দেয় যেমন: অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো পাইপলাইন।

    TFX পাইপলাইনগুলি সম্পর্কে আরো জানুন

  • স্ট্যান্ডার্ড উপাদানগুলির একটি সেট যা আপনি পাইপলাইনের অংশ হিসাবে, বা আপনার এমএল প্রশিক্ষণের স্ক্রিপ্টের অংশ হিসাবে ব্যবহার করতে পারেন। টিএফএক্স স্ট্যান্ডার্ড উপাদানগুলি সহজেই আপনাকে এমএল প্রক্রিয়া তৈরি করতে সহায়তা করতে প্রমাণিত কার্যকারিতা সরবরাহ করে।

    TFX মান উপাদান সম্পর্কে আরো জানুন

  • গ্রন্থাগারগুলি যা অনেকগুলি স্ট্যান্ডার্ড উপাদানগুলির জন্য বেস কার্যকারিতা সরবরাহ করে। আপনি নিজের কাস্টম উপাদানগুলিতে এই কার্যকারিতা যুক্ত করতে টিএফএক্স লাইব্রেরি ব্যবহার করতে পারেন, বা এগুলি পৃথকভাবে ব্যবহার করতে পারেন।

    TFX লাইব্রেরি সম্পর্কে আরো জানুন

টিএফএক্স টেনসরফ্লো ভিত্তিক একটি গুগল-উত্পাদন-স্কেল মেশিন লার্নিং টুলকিট। এটি আপনার মেশিন লার্নিং সিস্টেমটিকে সংজ্ঞায়িত, প্রবর্তন এবং নিরীক্ষণের জন্য প্রয়োজনীয় সাধারণ উপাদানগুলিকে একীভূত করার জন্য একটি কনফিগারেশন ফ্রেমওয়ার্ক এবং ভাগ করা লাইব্রেরি সরবরাহ করে।

টিএফএক্স স্ট্যান্ডার্ড উপাদান

একজন TFX পাইপলাইন উপাদান যে বাস্তবায়ন একটি ক্রম এমএল পাইপলাইন যা বিশেষভাবে মাপযোগ্য, উচ্চ ক্ষমতা সম্পন্ন মেশিন কর্ম শেখার জন্য নির্মিত হয়েছে। এর মধ্যে রয়েছে মডেলিং, প্রশিক্ষণ, অনুমান পরিবেশন করা এবং অনলাইন, নেটিভ মোবাইল এবং জাভাস্ক্রিপ্ট লক্ষ্যগুলিতে মোতায়েন পরিচালনা।

একটি টিএফএক্স পাইপলাইনে সাধারণত নিম্নলিখিত উপাদানগুলি অন্তর্ভুক্ত থাকে:

  • ExampleGen একটি পাইপলাইন যে ingests এবং ঐচ্ছিকরূপে ইনপুট ডেটা সেটটি splits প্রাথমিক ইনপুট উপাদান।

  • StatisticsGen ডেটা সেটটি জন্য পরিসংখ্যান হিসাব করে।

  • SchemaGen পরিসংখ্যান পরীক্ষা করে এবং একটি ডাটা স্কিমা তৈরি করে।

  • ExampleValidator ব্যতিক্রমসমূহ এবং ডেটাসেটে অনুপস্থিত মানের জন্য দেখায়।

  • ট্রান্সফর্ম ডেটা সেটটি উপর সঞ্চালিত বৈশিষ্ট্য ইঞ্জিনিয়ারিং।

  • প্রশিক্ষক মডেল ট্রেন।

  • টিউনার মডেলের hyperparameters টিউন করে।

  • Evaluator সঞ্চালিত প্রশিক্ষণ ফলাফল গভীর বিশ্লেষণ এবং আপনি আপনার রপ্তানি মডেল যাচাই নিশ্চিত যে, তারা "ভালো যথেষ্ট" হয় উৎপাদন ধাক্কা হতে সাহায্য করবে।

  • InfraValidator ধাক্কা হওয়া থেকে চেক মডেল আসলে পরিকাঠামো থেকে পরিবেশনযোগ্য, এবং প্রতিরোধ খারাপ মডেল।

  • বিমানপোত একটি ভজনা পরিকাঠামোতে মডেল স্থাপন।

  • BulkInferrer লেবেল বিহীন অনুমান অনুরোধ সঙ্গে একটি মডেল উপর সঞ্চালিত ব্যাচ প্রসেসিং।

এই চিত্রটি এই উপাদানগুলির মধ্যে ডেটা প্রবাহকে চিত্রিত করে:

উপাদান প্রবাহ

টিএফএক্স লাইব্রেরি

টিএফএক্স উভয় গ্রন্থাগার এবং পাইপলাইন উপাদান অন্তর্ভুক্ত। এই চিত্রটি টিএফএক্স লাইব্রেরি এবং পাইপলাইন উপাদানগুলির মধ্যে সম্পর্কের চিত্র তুলে ধরেছে:

গ্রন্থাগার ও উপাদান

টিএফএক্স বিভিন্ন পাইথন প্যাকেজ সরবরাহ করে যা লাইব্রেরি যা পাইপলাইন উপাদান তৈরি করতে ব্যবহৃত হয়। আপনি আপনার পাইপলাইনের উপাদানগুলি তৈরি করতে এই গ্রন্থাগারগুলি ব্যবহার করবেন যাতে আপনার কোডটি আপনার পাইপলাইনের অনন্য দিকগুলিতে ফোকাস করতে পারে।

টিএফএক্স লাইব্রেরিতে অন্তর্ভুক্ত রয়েছে:

  • TensorFlow ডেটা ভ্যালিডেশন (TFDV) বিশ্লেষণ এবং যাচাই মেশিন লার্নিং ডেটার জন্য একটি লাইব্রেরী। এটি অত্যন্ত স্কেলযোগ্য এবং টেনসরফ্লো এবং টিএফএক্সের সাথে ভালভাবে কাজ করার জন্য ডিজাইন করা হয়েছে। টিএফডিভি অন্তর্ভুক্ত:

    • প্রশিক্ষণ এবং পরীক্ষার ডেটার সংক্ষিপ্ত পরিসংখ্যানগুলির স্কেলেবল গণনা।
    • ডেটা বিতরণ এবং পরিসংখ্যানের জন্য দর্শকের সাথে একত্রীকরণ, পাশাপাশি ডেটাসেটের (মুখোমুখি) জোড়গুলির তুলনা করা।

    • প্রয়োজনীয় মান, ব্যাপ্তি এবং শব্দভান্ডারগুলির মতো ডেটা সম্পর্কে প্রত্যাশা বর্ণনা করতে স্বয়ংক্রিয় ডেটা-স্কিমা প্রজন্ম।

    • আপনাকে স্কিমা পরিদর্শন করতে সহায়তা করার জন্য একটি স্কিমা ভিউয়ার।

    • অনুপস্থিতি সনাক্তকরণের জন্য অ্যানোমালি সনাক্তকরণ, যেমন অনুপস্থিত বৈশিষ্ট্য, সীমার বাইরে থাকা মান বা ভুল বৈশিষ্ট্যের ধরণের কয়েকটি নাম উল্লেখ করতে।

    • একটি ব্যতিক্রমী ভিউয়ার যাতে আপনি দেখতে পান যে কোন বৈশিষ্ট্যগুলিতে অনিয়ম রয়েছে এবং সেগুলি সংশোধন করতে আরও শিখতে পারেন।

  • TensorFlow ট্রান্সফর্ম (টিএফটি) TensorFlow সাথে ডেটা preprocessing জন্য একটি লাইব্রেরী। টেনসরফ্লো ট্রান্সফর্ম এমন ডেটার জন্য দরকারী যা একটি পূর্ণ পাসের প্রয়োজন, যেমন:

    • গড় এবং স্ট্যান্ডার্ড বিচ্যুতি দ্বারা একটি ইনপুট মানকে সাধারণ করুন।
    • সমস্ত ইনপুট মানগুলিতে শব্দভাণ্ডার তৈরি করে স্ট্রিংগুলিকে পূর্ণসংখ্যায় রূপান্তর করুন।
    • পর্যবেক্ষিত ডেটা বিতরণের উপর ভিত্তি করে বালতিগুলিতে অ্যাসেট দিয়ে পূর্ণসংখ্যায় ফ্লোটকে রূপান্তর করুন।
  • TensorFlow TFX সঙ্গে মডেল প্রশিক্ষণ জন্য ব্যবহৃত হয়। এটি প্রশিক্ষণ ডেটা এবং মডেলিং কোড ingests এবং একটি SavedModel ফলাফল তৈরি করে। এটি ইনপুট ডেটা প্রিপ্রসেসিংয়ের জন্য টেনসরফ্লো ট্রান্সফর্ম দ্বারা নির্মিত একটি বৈশিষ্ট্য ইঞ্জিনিয়ারিং পাইপলাইনকেও সংহত করে।

    KerasTuner মডেল জন্য সুরকরণ hyperparameters জন্য ব্যবহৃত হয়।

  • TensorFlow মডেল বিশ্লেষণ (TFMA) TensorFlow মডেলের মূল্যায়নের জন্য একটি লাইব্রেরী। এটি টেনসরফ্লো সহ একটি ইভালসেভডমডেল তৈরি করতে ব্যবহৃত হয়, যা এর বিশ্লেষণের ভিত্তি হয়ে ওঠে। এটি ব্যবহারকারীদের তাদের প্রশিক্ষক হিসাবে সংজ্ঞায়িত একই ম্যাট্রিক ব্যবহার করে বিতরণ পদ্ধতিতে বিপুল পরিমাণে ডেটাতে তাদের মডেলগুলি মূল্যায়ন করতে দেয়। এই মেট্রিকগুলি বিভিন্ন ধরণের ডেটার টুকরোতে গণনা করা যায় এবং বৃহস্পতি নোটবুকগুলিতে ভিজ্যুয়ালাইজ করা যায়।

  • TensorFlow মেটাডেটা (TFMD) মেটাডেটা উপযোগী যখন প্রশিক্ষণ মেশিন TensorFlow সঙ্গে লার্নিং মডেলগুলির জন্য আদর্শ উপস্থাপনা প্রদান করে। ইনপুট ডেটা বিশ্লেষণের সময় মেটাডেটা হাতে বা স্বয়ংক্রিয়ভাবে উত্পাদিত হতে পারে এবং ডেটা বৈধতা, অনুসন্ধান এবং রূপান্তরকরণের জন্য গ্রাস করা হতে পারে। মেটাডেটা সিরিয়ালাইজেশন ফর্ম্যাটগুলির মধ্যে রয়েছে:

    • ট্যাবুলার ডেটা (উদাহরণস্বরূপ, tf.Ees উদাহরণ) বর্ণনা করে একটি স্কিমা।
    • এই জাতীয় ডেটাসেটের উপর সংক্ষিপ্তসার পরিসংখ্যানের সংকলন।
  • এমএল মেটাডেটা (MLMD) রেকর্ডিং এবং এমএল ডেভেলপার এবং তথ্য বিজ্ঞানী কর্মপ্রবাহ সঙ্গে যুক্ত মেটাডেটা পুনরুদ্ধারের জন্য একটি লাইব্রেরী। প্রায়শই মেটাডেটা টিএফএমডি উপস্থাপনা ব্যবহার করে। MLMD ব্যবহার অধ্যবসায় পরিচালনা করে এসকিউএল লাইট , মাইএসকিউএল , এবং অন্যান্য অনুরূপ তথ্য সঞ্চয় করে।

সাপোর্টিং টেকনোলজিস

প্রয়োজনীয়

  • এ্যাপাচি রশ্মি একটি ওপেন সোর্স, উভয় ব্যাচ সংজ্ঞা এবং তথ্য-সমান্তরাল প্রক্রিয়াজাতকরণ পাইপলাইনগুলি স্ট্রিমিং করার জন্য একত্রে মডেল। টিএফএক্স ডেটা সমান্তরাল পাইপলাইনগুলি প্রয়োগ করতে অ্যাপাচি বিম ব্যবহার করে। পাইপলাইন তারপর রশ্মি এর সমর্থিত বিতরণ প্রক্রিয়াজাতকরণ ব্যাক প্রান্ত, যা এ্যাপাচি Flink, এ্যাপাচি স্পার্ক অন্তর্ভুক্ত এক দ্বারা মৃত্যুদন্ড কার্যকর করা হয় Google মেঘ Dataflow , এবং অন্যদের।

.চ্ছিক

আপাচে এয়ারফ্লো এবং কুবেফ্লো এর মতো অর্কেস্ট্রেটাররা এমএল পাইপলাইনটিকে কনফিগার, পরিচালনা, নিরীক্ষণ এবং রক্ষণাবেক্ষণকে আরও সহজ করে তোলে।

  • এ্যাপাচি Airflow প্রোগ্রামেটিক্যালি লেখক, সময়সূচী এবং মনিটর কর্মপ্রবাহ করার জন্য একটি প্ল্যাটফর্ম। টিএফএক্স কর্মের প্রবাহকে অ্যাকাইক্লিক গ্রাফ (ডিএজি) হিসাবে ওয়ার্কফ্লো লেখার জন্য এয়ারফ্লো ব্যবহার করে। এয়ারফ্লো শিডিয়ুলার নির্ধারিত নির্ভরতা অনুসরণ করে কর্মীদের একটি অ্যারেতে কার্য সম্পাদন করে। সমৃদ্ধ কমান্ড লাইন ইউটিলিটিগুলি ডিএজিগুলিতে কিছুটা জটিল সার্জারি করে তোলে a সমৃদ্ধ ইউজার ইন্টারফেসটি উত্পাদন চলমান পাইপলাইনগুলি কল্পনা করা, অগ্রগতি নিরীক্ষণ করা এবং যখন প্রয়োজন হয় তখন সমস্যা সমাধানের সহজ করে তোলে। যখন ওয়ার্কফ্লোগুলি কোড হিসাবে সংজ্ঞায়িত করা হয়, তখন তারা আরও রক্ষণাবেক্ষণযোগ্য, সংস্করণযোগ্য, টেস্টেবল এবং সহযোগী হয়ে ওঠে।

  • Kubeflow মেশিন লার্নিং এর স্থাপনার উপার্জন নিবেদিত (এমএল) Kubernetes সহজ, পোর্টেবল এবং আকার পরিবর্তনযোগ্য উপর Workflows। কুবেফ্লোয়ের লক্ষ্য অন্যান্য পরিষেবাগুলি পুনরায় তৈরি করা নয়, তবে এমএলকে বিভিন্ন অবকাঠামোগত কাঠামোর জন্য সেরা-বংশের ওপেন-সোর্স সিস্টেম মোতায়েনের একটি সহজ উপায় প্রদান করা। Kubeflow পাইপলাইন রচনা ও Kubeflow উপর পুনরায় উত্পাদন কর্মপ্রবাহ, পরীক্ষা এবং নোটবুক ভিত্তিক অভিজ্ঞতার সাথে একত্রিত সঞ্চালনের সক্ষম করুন। কুবেরনেটসে কুবেলফুল পাইপলাইন পরিষেবাগুলিতে স্কেলগুলি জটিল এমএল পাইপলাইনগুলি বিকাশ, পরিচালনা এবং পরিচালনা করার জন্য হোস্ট মেটাডাটা স্টোর, ধারক ভিত্তিক অর্কেস্টেশন ইঞ্জিন, নোটবুক সার্ভার এবং ইউআই অন্তর্ভুক্ত রয়েছে। কুবেফ্লো পাইপলাইন এসডিকে প্রোগ্রামগুলি ভিত্তিক পাইপলাইনগুলির উপাদান তৈরি এবং ভাগ করে নেওয়ার অনুমতি দেয়।

বহনযোগ্যতা এবং আন্তঃক্রিয়াশীলতা

TFX একাধিক পরিবেশ এবং সহ অর্কেস্ট্রারচনা অবকাঠামো, এর পোর্টেবল ডিজাইন করা হয়েছে এ্যাপাচি Airflow , এ্যাপাচি রশ্মি এবং Kubeflow । এছাড়া অন প্রতিজ্ঞা সহ বিভিন্ন কম্পিউটিং প্ল্যাটফর্ম, এবং মেঘ প্ল্যাটফর্ম যেমন করতে পোর্টেবল Google মেঘ প্ল্যাটফর্ম (GCP) । বিশেষ করে, যেমন মাধ্যমে কিছু পরিচালিত GCP পরিষেবাগুলির সাথে TFX interoperates ক্লাউড এআই প্ল্যাটফর্ম জন্য প্রশিক্ষণ এবং Prediction , এবং ক্লাউড Dataflow বিতরণ ডেটার জন্য এমএল জীবনচক্র বিভিন্ন জন্য অন্যান্য দিক প্রক্রিয়াকরণের।

মডেল বনাম সাভেদমোডেল

মডেল

একটি মডেল হ'ল প্রশিক্ষণ প্রক্রিয়ার আউটপুট। এটি প্রশিক্ষণের প্রক্রিয়া চলাকালীন ওজনগুলির ক্রমিক রেকর্ড। এই ওজনগুলি পরবর্তীকালে নতুন ইনপুট উদাহরণগুলির জন্য পূর্বাভাসগুলি গণনা করতে ব্যবহার করা যেতে পারে। টিএফএক্স এবং টেনসরফ্লো-র জন্য, 'মডেল' বলতে সেই পয়েন্ট পর্যন্ত শিখানো ওজন ধারণকারী চেকপয়েন্টগুলিকে বোঝায়।

নোট করুন যে 'মডেল' টেনসরফ্লো গণনা গ্রাফের (যেমন একটি পাইথন ফাইল) সংজ্ঞাটিও বোঝায় যা ভবিষ্যদ্বাণীটি কীভাবে গণনা করা হবে তা প্রকাশ করে। দুটি ইন্দ্রিয় প্রসঙ্গে ভিত্তিতে বিনিময়যোগ্য হিসাবে ব্যবহৃত হতে পারে।

সেভডমডেল

  • কী এক হয় SavedModel একটি সার্বজনীন, ভাষা-নিরপেক্ষ, সম্পূর্ণভাবে রূদ্ধ, আদায়যোগ্য একটি TensorFlow মডেলের ধারাবাহিকতাতে।
  • কেন এটা গুরুত্বপূর্ণ: এটি উত্পাদন উচ্চতর পর্যায়ের সিস্টেম সক্ষম, রুপান্তর, এবং একটি একক বিমূর্ততা ব্যবহার TensorFlow মডেল ব্যবহার করা হবে।

সাভেডমোডেল হ'ল উত্পাদনে টেনসরফ্লো মডেল পরিবেশন করার জন্য, বা স্থানীয় মোবাইল বা জাভাস্ক্রিপ্ট অ্যাপ্লিকেশনটির জন্য প্রশিক্ষিত মডেল রফতানি করার জন্য প্রস্তাবিত সিরিয়ালাইজেশন ফর্ম্যাট। উদাহরণস্বরূপ, পূর্বাভাস দেওয়ার জন্য কোনও মডেলটিকে আরইএসটি পরিষেবাতে রূপান্তর করতে, আপনি মডেলটিকে সেভডমডেল হিসাবে সিরিয়ালাইজ করতে পারেন এবং টেনসরফ্লো সার্ভিং ব্যবহার করে এটি পরিবেশন করতে পারেন। দেখুন একটি TensorFlow মডেল পরিবেশন করছে আরও তথ্যের জন্য।

স্কিমা

কিছু TFX উপাদান আপনার ইনপুট তথ্য একটি স্কিমা নামক একটি বিবরণ ব্যবহার করুন। স্কিমা একটি দৃষ্টান্ত হল schema.proto । স্কীমাস এক ধরনের হয় প্রোটোকল বাফার , আরো সাধারণভাবে একটি "protobuf" নামে পরিচিত। স্কিমা বৈশিষ্ট্য মানগুলির জন্য ডেটা প্রকারগুলি নির্দিষ্ট করতে পারে, কোনও বৈশিষ্ট্য সমস্ত উদাহরণের মধ্যে উপস্থিত থাকতে হবে কিনা, অনুমোদিত মান রেঞ্জ এবং অন্যান্য বৈশিষ্ট্যগুলিতে নির্দিষ্ট করতে পারে। টেনসরফ্লো ডেটা যাচাইকরণ (টিএফডিভি) ব্যবহার করার একটি সুবিধা হ'ল এটি প্রশিক্ষণের ডেটা থেকে অনুক্রমের ধরণ, বিভাগ এবং রেঞ্জগুলি স্বয়ংক্রিয়ভাবে স্কিমা তৈরি করবে।

এখানে একটি স্কিমা প্রোটবুফের একটি অংশ রয়েছে:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

নিম্নলিখিত উপাদানগুলি স্কিমা ব্যবহার করে:

  • টেনসরফ্লো ডেটা বৈধকরণ
  • টেনসরফ্লো ট্রান্সফর্ম

একটি সাধারণ টিএফএক্স পাইপলাইনে টেনসরফ্লো ডেটা বৈধকরণ একটি স্কিমা উত্পন্ন করে, যা অন্যান্য উপাদানগুলি গ্রাস করে।

টিএফএক্সের সাথে বিকাশ করছে

টিএফএক্স আপনার স্থানীয় মেশিনের উপর গবেষণা, পরীক্ষা-নিরীক্ষা, এবং স্থাপনার মাধ্যমে, মেশিন লার্নিং প্রকল্পের প্রতিটি পর্যায়ে একটি শক্তিশালী প্ল্যাটফর্ম সরবরাহ করে। এড়ানোর কোড অনুলিপি ক্রম এবং জন্য সম্ভাব্য নিষ্কাশন সালে প্রশিক্ষণ স্কিউ ভজনা / এটা দৃঢ়ভাবে উভয় মডেল প্রশিক্ষণ ও প্রশিক্ষিত মডেলের স্থাপনার জন্য আপনার TFX পাইপলাইন বাস্তবায়ন, এবং ব্যবহার বাঞ্ছনীয় ট্রান্সফর্ম উপাদান যা লিভারেজ TensorFlow ট্রান্সফর্ম উভয় প্রশিক্ষণ ও অনুমান জন্য লাইব্রেরী। এটি করে আপনি একই প্রিপ্রোসেসিং এবং বিশ্লেষণ কোডটি ধারাবাহিকভাবে ব্যবহার করবেন এবং আপনার প্রশিক্ষণপ্রাপ্ত মডেলগুলিকে উত্পাদনে প্রশিক্ষণ দেওয়ার জন্য ব্যবহৃত ডেটার মধ্যে পার্থক্য এড়াতে পারবেন এবং সেই সাথে একবার সেই কোডটি লিখে উপকার পাবেন।

ডেটা এক্সপ্লোরেশন, ভিজ্যুয়ালাইজেশন এবং পরিষ্কার করা

ডেটা এক্সপ্লোরেশন, ভিজ্যুয়ালাইজেশন এবং পরিষ্কার করা

TFX পাইপলাইনগুলি সাধারণত একটি দিয়ে শুরু ExampleGen উপাদান, যা এটি tf.Examples যেমন ইনপুট ডেটা এবং বিন্যাস গ্রহণ করে। প্রশিক্ষণ এবং মূল্যায়ন ডেটাসেটগুলিতে ডেটা বিভক্ত হওয়ার পরে প্রায়শই এটি করা হয় যাতে উদাহরণস্বরূপ উপাদানগুলির দুটি কপি থাকে, প্রশিক্ষণ ও মূল্যায়নের জন্য প্রত্যেকে একটি করে। এটি সাধারণত কোনো দ্বারা অনুসরণ করা হয় StatisticsGen উপাদান এবং SchemaGen উপাদান, যা আপনার ডেটা এবং পরীক্ষা একটি ডাটা স্কিমা ও পরিসংখ্যান অনুমান হবে। স্কিমা ও পরিসংখ্যান একটি খায় করা হবে ExampleValidator উপাদান, যা ব্যতিক্রমসমূহ নিখোঁজ মূল্যবোধ, এবং আপনার ডেটা ভুল ধরনের তথ্য জন্য চেহারা হবে। এই উপাদানগুলির সব ক্ষমতার লিভারেজ TensorFlow ডেটা ভ্যালিডেশন গ্রন্থাগার।

TensorFlow ডেটা ভ্যালিডেশন (TFDV) যখন প্রাথমিক অন্বেষণ, কল্পনা করছেন, এবং আপনার ডেটাসেটের পরিষ্কারের একটি মূল্যবান হাতিয়ার। টিএফডিভি আপনার ডেটা পরীক্ষা করে এবং উপাত্তের ধরণ, বিভাগ এবং রেঞ্জগুলিকে অনুমান করে এবং তারপরে স্বয়ংক্রিয়ভাবে ব্যধি এবং হারিয়ে যাওয়া মানগুলি সনাক্ত করতে সহায়তা করে। এটি ভিজ্যুয়ালাইজেশন সরঞ্জামও সরবরাহ করে যা আপনাকে আপনার ডেটাসেটটি পরীক্ষা এবং বুঝতে সহায়তা করে। আপনার পাইপলাইন সম্পূর্ণ হওয়ার পর আপনার কাছ থেকে মেটাডাটা পড়তে পারেন MLMD এবং Jupyter নোটবুক TFDV কল্পনা সরঞ্জামগুলি ব্যবহার আপনার ডেটা বিশ্লেষণ করতে।

আপনার প্রাথমিক মডেল প্রশিক্ষণ এবং স্থাপনার অনুসরণ করে, টিএফডিভি আপনার মোতায়েন করা মডেলগুলিতে অনুমিত অনুরোধগুলি থেকে নতুন ডেটা পর্যবেক্ষণ করতে, এবং অসঙ্গতি এবং / অথবা প্রবাহের জন্য সন্ধান করতে পারে। এটি সময় সিরিজের ডেটাগুলির জন্য বিশেষত কার্যকর যা প্রবণতা বা seasonতুরতার ফলস্বরূপ সময়ের সাথে সাথে পরিবর্তিত হয় এবং যখন ডেটা সমস্যা রয়েছে বা মডেলগুলিকে নতুন ডেটাতে পুনরায় প্রশিক্ষণ করা দরকার তখন তা জানাতে সহায়তা করতে পারে।

ডেটা ভিজ্যুয়ালাইজেশন

আপনি আপনার পাইপলাইনের যে অংশটি টিএফডিভি ব্যবহার করে (সাধারণত স্ট্যাটিস্টিক্স জেন, স্কিমাজেন এবং উদাহরণভালিডেটর) ​​ব্যবহার করে আপনার ডেটা আপনার প্রথম রান শেষ করার পরে আপনি একটি বৃহত্তর স্টাইল নোটবুকের ফলাফলগুলি কল্পনা করতে পারবেন। অতিরিক্ত রানের জন্য আপনি এই ফলাফলগুলি তুলনা করতে পারবেন যখনই আপনি অ্যাডজাস্টমেন্ট করবেন, যতক্ষণ না আপনার ডেটা আপনার মডেল এবং অ্যাপ্লিকেশনটির জন্য অনুকূল হয়।

আপনিই প্রথম প্রশ্ন হবে এমএল মেটাডেটা (MLMD) এই উপাদানগুলির এই মৃত্যুদণ্ড কার্যকর ফলাফল খোজা, এবং তারপর TFDV মধ্যে ঠাহর সমর্থন API ব্যবহার তোমার খাতার মধ্যে দৃশ্য তৈরি করুন। এর মধ্যে রয়েছে tfdv.load_statistics () এবং tfdv.visualize_statistics () এই কল্পনা ব্যবহার করে আপনি ভাল আপনার ডেটা সেটটি বৈশিষ্ট্য বুঝতে পারেন, এবং প্রয়োজনে প্রয়োজনীয় পরিবর্তন করুন।

মডেলগুলি বিকাশ এবং প্রশিক্ষণ

ফিচার ইঞ্জিনিয়ারিং

একটা প্রচলিত TFX পাইপলাইন একটি অন্তর্ভুক্ত করা হবে ট্রান্সফর্ম উপাদান, যার মধ্যে ক্ষমতা উপজীব্য করে বৈশিষ্ট্য ইঞ্জিনিয়ারিং সঞ্চালন করা হবে TensorFlow ট্রান্সফর্ম (টিএফটি) গ্রন্থাগার। একটি উপাদান হ্রাস একটি SchemaGen উপাদান দ্বারা নির্মিত স্কিমা ট্রান্সফর্ম, এবং প্রযোজ্য ডাটা রূপান্তরের তৈরি একত্রিত করতে এবং আরো নতুন বৈশিষ্ট্যগুলি যে আপনার মডেল প্রশিক্ষণের ব্যবহার করা হবে রুপান্তর। অনুপস্থিত মানগুলির ধরণ এবং ধরণের রূপান্তরকরণও ট্রান্সফর্ম উপাদানটিতে করা উচিত যদি কখনও সম্ভাবনা থাকে তবে এগুলি অনুমানের অনুরোধের জন্য প্রেরিত ডেটাতে উপস্থিত থাকবে। কিছু গুরুত্বপূর্ণ বিবেচ্য বিষয় আছে যখন TFX মধ্যে প্রশিক্ষণের জন্য TensorFlow কোড নকশা।

মডেলিং এবং প্রশিক্ষণ

একটি উপাদান ট্রান্সফর্ম ফল একটি SavedModel এটি আমদানি করা হবে এবং TensorFlow আপনার মডেলিং কোড ব্যবহৃত একটি সময় হয় প্রশিক্ষক অংশ। এই স্যাভডমোডেলটিতে ট্রান্সফর্ম উপাদানটিতে তৈরি হওয়া সমস্ত ডেটা ইঞ্জিনিয়ারিং ট্রান্সফর্মেশনগুলি অন্তর্ভুক্ত রয়েছে, যাতে প্রশিক্ষণ এবং অনুমান উভয়ের সময় অভিন্ন ট্রান্সফর্মগুলি সঠিক একই কোড ব্যবহার করে সম্পাদিত হয়। ট্রান্সফর্ম উপাদানটি থেকে স্যাভডমডেল সহ মডেলিং কোডটি ব্যবহার করে, আপনি আপনার প্রশিক্ষণ এবং মূল্যায়নের ডেটা গ্রহণ করতে এবং আপনার মডেলটিকে প্রশিক্ষণ দিতে পারেন।

অনুমান ভিত্তিক মডেলগুলির সাথে কাজ করার সময়, আপনার মডেলিং কোডের শেষ বিভাগটি আপনার মডেলটিকে সেভডমোডেল এবং ইভালসেভডমডেল উভয় হিসাবে সংরক্ষণ করতে হবে। ইভালসেভডমডেল হিসাবে সংরক্ষণ নিশ্চিত করে যে প্রশিক্ষণের সময় ব্যবহৃত মেট্রিকগুলি মূল্যায়নের সময়ও পাওয়া যায় (নোট করুন যে কেরাস ভিত্তিক মডেলগুলির জন্য এটি প্রয়োজন হয় না)। একটি EvalSavedModel সংরক্ষণ করা হচ্ছে প্রয়োজন যে আপনি আমদানি TensorFlow মডেল বিশ্লেষণ (TFMA) আপনার প্রশিক্ষক উপাদানের গ্রন্থাগার।

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

একটি ঐচ্ছিক টিউনার উপাদান প্রশিক্ষক সামনে মডেল জন্য সুর hyperparameters (যেমন, স্তর সংখ্যা) যোগ করা যেতে পারে। প্রদত্ত মডেল এবং হাইপারপ্যারামিটারগুলির অনুসন্ধানের জায়গার সাথে, অ্যালগরিদম টিউনিং উদ্দেশ্যটির উপর ভিত্তি করে সেরা হাইপারপ্যারামিটারগুলি খুঁজে পাবেন।

মডেল পারফরম্যান্স বিশ্লেষণ এবং বোঝা

মডেল বিশ্লেষণ

প্রাথমিক মডেল বিকাশ এবং প্রশিক্ষণ অনুসরণ করে বিশ্লেষণ করা এবং সত্যই আপনার মডেলটির কার্যকারিতা বোঝা গুরুত্বপূর্ণ। একটা প্রচলিত TFX পাইপলাইন একটি অন্তর্ভুক্ত করা হবে Evaluator উপাদান, যার মধ্যে ক্ষমতা লিভারেজ TensorFlow মডেল বিশ্লেষণ (TFMA) গ্রন্থাগার, যা উন্নয়নের এই পর্যায়ে জন্য একটি ক্ষমতা টুলসেট প্রদান করে। একটি Evaluator উপাদান মডেল হ্রাস যে আপনার উপরে রপ্তানি, এবং আপনি একটি তালিকা নির্দিষ্ট করার অনুমতি দেয় tfma.SlicingSpec যখন আপনি visualizing এবং আপনার মডেল এর পারফরম্যান্সের বিশ্লেষণ ব্যবহার করতে পারেন। প্রতিটি SlicingSpec যেমন শ্রেণীগত বৈশিষ্ট্য, অথবা সংখ্যাসূচক বৈশিষ্ট্যগুলির জন্য বিশেষ ব্যাপ্তির জন্য বিশেষ বিভাগ হিসেবে আপনার প্রশিক্ষণ ডেটা আছে যা আপনাকে একটু পরীক্ষা করে করতে চাই, একটি ফালি সংজ্ঞায়িত করে।

উদাহরণস্বরূপ, আপনার গ্রাহকদের বিভিন্ন বিভাগের জন্য আপনার মডেলটির পারফরম্যান্স বোঝার চেষ্টা করার জন্য এটি গুরুত্বপূর্ণ হবে, যা বার্ষিক ক্রয়, ভৌগলিক ডেটা, বয়স গ্রুপ বা লিঙ্গ দ্বারা ভাগ করা যায়। এটি দীর্ঘ লেজযুক্ত ডেটাসেটগুলির জন্য বিশেষত গুরুত্বপূর্ণ হতে পারে, যেখানে একটি প্রভাবশালী গোষ্ঠীর পারফরম্যান্স গুরুত্বপূর্ণ, তবুও ছোট গ্রুপগুলির জন্য অগ্রহণযোগ্য পারফরম্যান্সটি মাস্ক করতে পারে। উদাহরণস্বরূপ, আপনার মডেল গড় কর্মীদের পক্ষে ভাল পারফরম্যান্স করতে পারে তবে নির্বাহী কর্মীদের পক্ষে মারাত্মকভাবে ব্যর্থ হতে পারে এবং এটি আপনার পক্ষে জেনে রাখা গুরুত্বপূর্ণ important

মডেল বিশ্লেষণ এবং ভিজ্যুয়ালাইজেশন

আপনি আপনার মডেল প্রশিক্ষণ এবং চলমান মাধ্যমে আপনার ডেটা আপনার প্রথমবার চালনার সম্পন্ন করার পর Evaluator উপাদান (যা লিভারেজ TFMA প্রশিক্ষণ ফলাফলে), আপনি একটি Jupyter শৈলী নোটবুক ফলাফল ঠাহর করতে পারেন। অতিরিক্ত রানের জন্য আপনি এই ফলাফলগুলি তুলনা করতে পারবেন সামঞ্জস্য করার সময়, যতক্ষণ না আপনার ফলাফলগুলি আপনার মডেল এবং অ্যাপ্লিকেশনটির জন্য অনুকূল হয়।

আপনিই প্রথম প্রশ্ন হবে এমএল মেটাডেটা (MLMD) এই উপাদানগুলির এই মৃত্যুদণ্ড কার্যকর ফলাফল খোজা, এবং তারপর TFMA মধ্যে ঠাহর সমর্থন API ব্যবহার তোমার খাতার মধ্যে দৃশ্য তৈরি করুন। এর মধ্যে রয়েছে tfma.load_eval_results এবং tfma.view.render_slicing_metrics এই কল্পনা ব্যবহার করে আপনি ভাল আপনার মডেল বৈশিষ্ট্য বুঝতে পারেন এবং যদি প্রয়োজন পরিবর্তন যেমন প্রয়োজন।

মডেল পারফরম্যান্স যাচাই করা হচ্ছে

কোনও মডেলের পারফরম্যান্স বিশ্লেষণের অংশ হিসাবে আপনি কোনও বেসলাইন (যেমন বর্তমানে পরিবেশিত মডেল) এর বিপরীতে পারফরম্যান্সটিকে বৈধতা দিতে চাইতে পারেন। মডেল বৈধতা উভয় প্রার্থী এবং বেসলাইন মডেল ক্ষণস্থায়ী দ্বারা সঞ্চালিত হয় Evaluator অংশটি। মূল্যায়নকারী প্রার্থী এবং বেসলাইন উভয়ের জন্য পৃথক পৃথক মেট্রিকের সাথে সম্পর্কিত সেটের সাথে মেট্রিকগুলি (যেমন এওসি, ক্ষতি) গণনা করে। থ্রেশহোল্ডগুলি তখন প্রয়োগ করা যেতে পারে এবং আপনার মডেলগুলিকে উত্পাদনের দিকে ঠেলে দেয়।

একটি মডেল পরিবেশন করা যেতে পারে যে যাচাই করা

ইনফ্রা বৈধকরণ

প্রশিক্ষিত মডেল মোতায়েন করার আগে, আপনি মডেলটি পরিবেশিত অবকাঠামোটিতে সত্যিই পরিবেশনযোগ্য কিনা তা যাচাই করতে চাইতে পারেন। উত্পাদনের পরিবেশে এটি সুনির্দিষ্টভাবে গুরুত্বপূর্ণ যে সদ্য প্রকাশিত মডেল সিস্টেমটিকে পূর্বাভাসগুলি সরবরাহ করতে বাধা দেয় না। InfraValidator উপাদান একটি স্যান্ডবক্সভুক্ত পরিবেশে আপনার মডেল একটি হলদে স্থাপনার করতে, এবং ঐচ্ছিকরূপে যে আপনার মডেল সঠিকভাবে কাজ করে চেক করতে বাস্তব অনুরোধ পাঠাতে হবে।

স্থাপনার লক্ষ্যমাত্রা

আপনি একবারে এমন কোনও মডেল বিকাশ ও প্রশিক্ষণ নেবেন যার সাথে আপনি খুশি হন, এখন সময় এটি এক বা একাধিক স্থাপনার লক্ষ্য (গুলি) এ স্থাপন করার সময় যেখানে এটি অনুমানের অনুরোধগুলি পাবেন। টিএফএক্স স্থাপনার লক্ষ্যমাত্রার তিনটি শ্রেণিতে মোতায়েন সমর্থন করে। সেভডমোডেলস হিসাবে রফতানি হওয়া প্রশিক্ষিত মডেলগুলি যে কোনও বা এই সমস্ত স্থাপনার লক্ষ্যবস্তুতে মোতায়েন করা যেতে পারে।

উপাদান প্রবাহ

অনুমান: টেনসরফ্লো পরিবেশন

TensorFlow পরিবেশন করছে (টিএফএস) একটি নমনীয়, উচ্চ ক্ষমতা সম্পন্ন মেশিন মডেল শেখার উৎপাদন পরিবেশের জন্য পরিকল্পিত জন্য সিস্টেম ভজনা করা হয়। এটি একটি সেভডমডেল গ্রাস করে এবং আরএসটি বা জিআরপিসি ইন্টারফেসের মধ্যে অন্তর্ভুক্তির অনুরোধগুলি গ্রহণ করবে। এটি এক বা একাধিক নেটওয়ার্ক সার্ভারে প্রক্রিয়াগুলির সেট হিসাবে চলমান, সিঙ্ক্রোনাইজেশন এবং বিতরণকৃত গণনা পরিচালনা করতে বেশ কয়েকটি উন্নত আর্কিটেকচারের একটি ব্যবহার করে। দেখুন টিএফএস ডকুমেন্টেশন উন্নয়নশীল এবং টিএফএস সমাধান মোতায়েন সম্পর্কে আরও তথ্যের জন্য।

একটি টিপিক্যাল পাইপলাইন, একটি SavedModel যা প্রশিক্ষণ হয়েছে প্রশিক্ষক উপাদান প্রথম একটি ইন ইনফ্রা-যাচাই করা হবে InfraValidator অংশটি। ইনভ্রাভালিডিয়েটার আসলে সেভডমডেল পরিবেশন করতে একটি ক্যানারি টিএফএস মডেল সার্ভার চালু করে। বৈধতা অতিবাহিত হয়েছে, তাহলে একটি বিমানপোত উপাদান পরিশেষে আপনার টিএফএস পরিকাঠামো SavedModel স্থাপন হবে। এর মধ্যে একাধিক সংস্করণ এবং মডেল আপডেট পরিচালনা করা অন্তর্ভুক্ত।

নেটিভ মোবাইল এবং আইওটি অ্যাপ্লিকেশনগুলিতে গুরুত্ব: টেনসরফ্লো লাইট

TensorFlow লাইট সরঞ্জাম কোন নেটিভ মোবাইল এবং IOT অ্যাপ্লিকেশন তাদের প্রশিক্ষিত TensorFlow মডেলগুলি ব্যবহার সাহায্যের ডেভেলপারদের নিবেদিত একটি স্যুট হয়। এটি টেনসরফ্লো সার্ভিংয়ের মতো একই সেভডমোডেল গ্রহণ করে এবং মোবাইল এবং আইওটি ডিভাইসগুলিতে চলমান চ্যালেঞ্জগুলির জন্য ফলাফলযুক্ত মডেলগুলির আকার এবং কার্যকারিতা অনুকূলকরণের জন্য কোয়ান্টাইজেশন এবং ছাঁটাইয়ের মতো অপ্টিমাইজেশন প্রয়োগ করে। টেনসরফ্লো লাইট ব্যবহারের আরও তথ্যের জন্য টেনসরফ্লো লাইট ডকুমেন্টেশন দেখুন।

জাভাস্ক্রিপ্টে অনুমান: টেনসরফ্লো জেএস

TensorFlow জাতীয় ব্রাউজারে এবং Node.js. উপর প্রশিক্ষণ এবং এমএল মডেলের মোতায়েন জন্য একটি JavaScript লাইব্রেরি এটি টেনসরফ্লো সার্ভিং এবং টেনসরফ্লো লাইটের মতো একই সেভডমডেলগুলি গ্রাস করে এবং সেগুলি টেনসরফ্লো.জেএস ওয়েব ফর্ম্যাটে রূপান্তর করে। টেনসরফ্লো জেএস ব্যবহারের আরও তথ্যের জন্য টেনসরফ্লো জেএস ডকুমেন্টেশন দেখুন।

এয়ারফ্লো দিয়ে একটি টিএফএক্স পাইপলাইন তৈরি করা হচ্ছে

পরীক্ষা করে দেখুন সুরক্ষা বৃহত্তর কর্মশালার বিস্তারিত জানার জন্য

কুবেরফ্লো দিয়ে একটি টিএফএক্স পাইপলাইন তৈরি করা হচ্ছে

সেটআপ

পাইপলাইনগুলি স্কেল চালানোর জন্য কুবেরফ্লোর একটি কুবারনেটস ক্লাস্টার প্রয়োজন। জন্য বিকল্পগুলির মাধ্যমে Kubeflow স্থাপনার গাইডলাইন যে গাইড দেখুন Kubeflow ক্লাস্টার মোতায়েন।

টিএফএক্স পাইপলাইন কনফিগার করুন এবং চালান

অনুসরণ করুন উপর মেঘ এআই প্ল্যাটফর্ম পাইপলাইন টিউটোরিয়াল TFX Kubeflow উপর TFX উদাহরণ পাইপলাইন চালানোর জন্য। টিএফএক্স উপাদানগুলি কুবেলফুল পাইপলাইন রচনা করার জন্য ধার্য করা হয়েছে এবং নমুনাটি বড় পাবলিক ডেটাসেট পড়ার জন্য পাইপলাইনটি কনফিগার করার ক্ষমতা এবং মেঘের স্কেল পর্যায়ে প্রশিক্ষণ এবং ডেটা প্রসেসিং পদক্ষেপগুলি সম্পাদন করার ক্ষমতা চিত্রিত করে।

পাইপলাইন ক্রিয়াগুলির জন্য কমান্ড লাইন ইন্টারফেস

টিএফএক্স একটি ইউনিফাইড সিএলআই সরবরাহ করে যা অ্যাপাচি এয়ারফ্লো, অ্যাপাচি বিম এবং কুবেফ্লো সহ বিভিন্ন অর্কেস্টেটরগুলিতে পাইপলাইন তৈরি, আপডেট, চালানো, তালিকা তৈরি করা এবং মুছার মতো সম্পূর্ণ পরিসীমা পাইপলাইন কর্ম সম্পাদন করতে সহায়তা করে। বিস্তারিত জানার জন্য অনুসরণ করুন এই নির্দেশাবলী