This page was translated by the Cloud Translation API.
Switch to English

আর্কিটেকচার

টেনসরফ্লো সার্ভিং হ'ল উত্পাদন পরিবেশের জন্য ডিজাইন করা মেশিন লার্নিং মডেলগুলির জন্য একটি নমনীয়, উচ্চ-কার্যকারিতা পরিবেশনকারী সিস্টেম। টেনসরফ্লো পরিবেশন একই সার্ভার আর্কিটেকচার এবং এপিআই রাখার সময় নতুন অ্যালগরিদম এবং পরীক্ষা নিরীক্ষণ করা সহজ করে তোলে। টেনসরফ্লো পরিবেশন টেনসরফ্লো মডেলের সাথে বাক্স সংহতকরণ সরবরাহ করে তবে অন্যান্য ধরণের মডেলগুলি পরিবেশন করতে সহজেই প্রসারিত হতে পারে।

মূল ধারণা

টেনসরফ্লো সার্ভিংয়ের আর্কিটেকচারটি বুঝতে, আপনাকে নিম্নলিখিত মূল ধারণাটি বুঝতে হবে:

পরিবেশনকারী

টেনসরফ্লো সার্ভিংয়ে সার্ভিসগুলি কেন্দ্রীয় বিমূর্তি। পরিবেশনগুলি হ'ল অন্তর্নিহিত অবজেক্ট যা ক্লায়েন্টগণ গণনা সম্পাদনের জন্য ব্যবহার করে (উদাহরণস্বরূপ, একটি চেহারা বা অনুমান)।

একটি পরিসেবার আকার এবং গ্রানুলারিটি নমনীয়। একটি একক পরিবেশনযোগ্য কোনও সন্ধানের টেবিলের একক শারড থেকে একক মডেল পর্যন্ত ইনফারেন্স মডেলের টুপল পর্যন্ত কিছু অন্তর্ভুক্ত থাকতে পারে। পরিবেশনগুলি যে কোনও প্রকার এবং ইন্টারফেসের হতে পারে, নমনীয়তা এবং ভবিষ্যতের উন্নতিগুলি সক্ষম করে যেমন:

  • স্ট্রিমিং ফলাফল
  • পরীক্ষামূলক এপিআই
  • অপারেশন অ্যাসিনক্রোনাস মোড

পরিবেশনকারীরা তাদের নিজস্ব জীবনচক্র পরিচালনা করে না।

সাধারণ পরিবেশনায় নিম্নলিখিতগুলি অন্তর্ভুক্ত করে:

  • একটি টেনসরফ্লো সেভডমডেলবান্ডেল ( tensorflow::Session )
  • এম্বেডিং বা শব্দভাণ্ডারের জন্য অনুসন্ধানের সারণী

পরিবেশনামূলক সংস্করণ

টেনসরফ্লো পরিবেশন একক সার্ভারের উদাহরণস্বরূপ আজীবন একটি পরিবেশনযোগ্য এক বা একাধিক সংস্করণ পরিচালনা করতে পারে। এটি সময়ের সাথে সাথে লোড হওয়ার জন্য তাজা অ্যালগরিদম কনফিগারেশন, ওজন এবং অন্যান্য ডেটা সক্ষম করে। সংস্করণগুলি ক্রমান্বয়ে রোলআউট এবং পরীক্ষাকে সমর্থন করে, এক সাথে পরিবাহিতযোগ্য একের বেশি সংস্করণ সক্ষম করে। পরিবেশনের সময়, ক্লায়েন্টরা কোনও নির্দিষ্ট মডেলের জন্য সর্বশেষ সংস্করণ বা নির্দিষ্ট সংস্করণ আইডির জন্য অনুরোধ করতে পারে।

পরিবেশনযোগ্য স্ট্রিম

পরিবেশনযোগ্য স্ট্রিম হ'ল পরিবেশনযোগ্য সংস্করণের ক্রম, ক্রমবর্ধমান সংস্করণ সংখ্যা অনুসারে বাছাই করা।

মডেল

টেনসরফ্লো পরিবেশন এক বা একাধিক সার্ভেবল হিসাবে একটি মডেল প্রতিনিধিত্ব করে। একটি মেশিন-শিখানো মডেলটিতে এক বা একাধিক অ্যালগরিদম (শিখানো ওজন সহ) এবং অনুসন্ধান বা এমবেডিং টেবিল অন্তর্ভুক্ত থাকতে পারে।

আপনি নিম্নলিখিতগুলির মধ্যে একটি হিসাবে একটি সমন্বিত মডেল উপস্থাপন করতে পারেন:

  • একাধিক স্বাধীন পরিবেশনযোগ্য
  • একক সংমিশ্রণ পরিবেশনযোগ্য

একটি পরিবেশনযোগ্য কোনও মডেলের ভগ্নাংশের সাথেও মিল রাখতে পারে। উদাহরণস্বরূপ, অনেকগুলি টেনসরফ্লো পরিবেশনার দৃষ্টান্তগুলিতে একটি বৃহত লুক টেবিলটি তীক্ষ্ণ করা যেতে পারে।

লোডার

লোডার একটি পরিবেশনযোগ্য এর জীবনচক্র পরিচালনা করুন। লোডার এপিআই নির্দিষ্ট লার্নিং অ্যালগরিদম, ডেটা বা পণ্য ব্যবহারের ক্ষেত্রে জড়িত থেকে স্বাধীন সাধারণ অবকাঠামো সক্ষম করে। বিশেষত, লোডারগুলি পরিবেশনযোগ্য লোড এবং আনলোড করার জন্য API গুলি মানক করে ize

সূত্র

উত্স হ'ল প্লাগইন মডিউল যা সার্ভেবলগুলি সন্ধান করে এবং সরবরাহ করে। প্রতিটি উত্স শূন্য বা আরও পরিবেশনামূলক স্ট্রিম সরবরাহ করে। প্রতিটি পরিবেশনযোগ্য স্ট্রিমের জন্য, উত্স লোড হওয়ার জন্য উপলব্ধ প্রতিটি সংস্করণের জন্য একটি লোডার উদাহরণ সরবরাহ করে। (একটি উত্স আসলে শূন্য বা আরও সোর্সএডাপ্টারগুলির সাথে একসাথে বেঁধে রাখা হয়, এবং চেইনের শেষ আইটেমটি লোডারগুলি নির্গত করে))

উত্সগুলির জন্য টেনসরফ্লো সার্ভিংয়ের ইন্টারফেসটি স্বেচ্ছাসেবী স্টোরেজ সিস্টেম থেকে সার্ভেবলগুলি আবিষ্কার করতে পারে। টেনসরফ্লো পরিবেশন সাধারণ রেফারেন্স উত্স বাস্তবায়ন অন্তর্ভুক্ত। উদাহরণস্বরূপ, সূত্রগুলি RPC এর মতো প্রক্রিয়াগুলিতে অ্যাক্সেস করতে পারে এবং কোনও ফাইল সিস্টেমকে পোল করতে পারে।

উত্সগুলি একাধিক পরিবেশনযোগ্য বা সংস্করণ জুড়ে ভাগ করে নেওয়া রাষ্ট্র বজায় রাখতে পারে। সংস্করণগুলির মধ্যে ডেল্টা (ডিফ) আপডেটগুলি ব্যবহার করে এমন সার্ভিসগুলির জন্য এটি দরকারী।

উচ্চাকাঙ্ক্ষিত সংস্করণ

উচ্চাকাঙ্ক্ষিত সংস্করণগুলি পরিবেশনযোগ্য সংস্করণগুলির সেটটি উপস্থাপন করে যা লোড হওয়া এবং প্রস্তুত হওয়া উচিত। উত্সগুলি একবারে একক পরিবেশনযোগ্য স্ট্রিমের জন্য পরিবেশনযোগ্য সংস্করণগুলির এই সেটটি যোগাযোগ করে। যখন কোনও উত্স ম্যানেজারকে উচ্চাকাঙ্ক্ষিত সংস্করণগুলির একটি নতুন তালিকা দেয়, তখন এটি সেই পরিষেবাযোগ্য স্ট্রিমের জন্য পূর্বের তালিকাটিকে ছাড়িয়ে যায়। পরিচালকটি পূর্বে লোড হওয়া যে কোনও সংস্করণগুলি তালিকায় আর প্রদর্শিত হবে না তা আনলোড করে।

সংস্করণ লোডিং অনুশীলনে কীভাবে কাজ করে তা দেখতে উন্নত টিউটোরিয়াল দেখুন।

পরিচালকদের

পরিচালকের Servables সহ পূর্ণ জীবনচক্র হ্যান্ডেল:

  • পরিবেশনযোগ্য লোড হচ্ছে
  • পরিবেশন
  • সার্ভারগুলি আনলোড হচ্ছে

পরিচালকরা উত্স শুনে এবং সমস্ত সংস্করণ ট্র্যাক করে track ম্যানেজার সূত্রের অনুরোধগুলি পূরণ করার চেষ্টা করে, তবে প্রয়োজনীয় সংস্থানগুলি উপলব্ধ না হলে যদি উচ্চাকাঙ্ক্ষিত সংস্করণটি লোড করতে অস্বীকার করতে পারে। পরিচালকরা একটি "আনলোড" স্থগিতও করতে পারেন। উদাহরণস্বরূপ, কোনও ব্যবস্থাপক সর্বদা সর্বদা কমপক্ষে একটি সংস্করণ লোড হওয়ার গ্যারান্টি রয়েছে এমন নীতিমালার ভিত্তিতে কোনও নতুন সংস্করণ লোডিং শেষ না হওয়া পর্যন্ত আনলোডটি অপেক্ষায় থাকতে পারে।

টেনসরফ্লো সার্ভিং ম্যানেজারগুলি ক্লায়েন্টদের জন্য লোড পরিবেশনযোগ্য দৃষ্টান্তগুলি অ্যাক্সেস করার জন্য একটি সহজ, সংকীর্ণ ইন্টারফেস - GetServableHandle()

মূল

স্ট্যান্ডার্ড টেনসরফ্লো সার্ভিং এপিআই ব্যবহার করে, টেনসরফ্লো সার্ভিং কোর সার্ভেবলের নিম্নলিখিত দিকগুলি পরিচালনা করে:

  • জীবনচক্র
  • মেট্রিক্স

টেনসরফ্লো সার্ভিং কোর পরিবেশন এবং লোডারকে অস্বচ্ছ বস্তু হিসাবে বিবেচনা করে।

একটি পরিসেবার জীবন

tf আর্কিটেকচার ডায়াগ্রাম পরিবেশন করা

বিস্তারিত বলতে গেলে:

  1. উত্স সার্ভযোগ্য সংস্করণগুলির জন্য লোডার তৈরি করে।
  2. লোডারগুলি ম্যানেজারকে উচ্চাকাঙ্ক্ষিত সংস্করণ হিসাবে প্রেরণ করা হয়, যা তাদের ক্লায়েন্টের অনুরোধগুলিতে লোড করে এবং সরবরাহ করে।

আরো বিস্তারিত:

  1. একটি উত্স প্লাগইন একটি নির্দিষ্ট সংস্করণের জন্য একটি লোডার তৈরি করে। সার্ভারে লোড করার জন্য যা প্রয়োজন মেটাডাটা লোডারটিতে রয়েছে।
  2. উত্সটি উচ্চাকাঙ্ক্ষিত সংস্করণটির পরিচালককে জানানোর জন্য একটি কলব্যাক ব্যবহার করে।
  3. ব্যবস্থাপকটি পরবর্তী পদক্ষেপ গ্রহণের জন্য কনফিগার করা সংস্করণ নীতি প্রয়োগ করে যা পূর্বে লোড হওয়া সংস্করণটি আনলোড করা বা নতুন সংস্করণ লোড করা হতে পারে।
  4. যদি পরিচালকটি এটি নিরাপদ করে তা নির্ধারণ করে, এটি লোডারকে প্রয়োজনীয় সংস্থান দেয় এবং লোডারকে নতুন সংস্করণ লোড করতে বলে।
  5. ক্লায়েন্টরা পরিসেবার জন্য ম্যানেজারকে জিজ্ঞাসা করেন, হয় স্পষ্টভাবে একটি সংস্করণ নির্দিষ্ট করে দিন বা কেবল সর্বশেষ সংস্করণটির জন্য অনুরোধ করছেন। ম্যানেজার সার্ভেবলের জন্য একটি হ্যান্ডেল ফেরত দেয়।

উদাহরণস্বরূপ, বলুন যে কোনও উত্স প্রায়শই আপডেট হওয়া মডেল ওজন সহ একটি টেনসরফ্লো গ্রাফ উপস্থাপন করে। ওজনগুলি ডিস্কের একটি ফাইলে সংরক্ষণ করা হয়।

  1. উত্সটি মডেল ওজনের একটি নতুন সংস্করণ সনাক্ত করে। এটি একটি লোডার তৈরি করে যা ডিস্কে থাকা মডেল ডেটার একটি পয়েন্টার ধারণ করে।
  2. উত্সটি উচ্চাকাঙ্ক্ষিত সংস্করণটির ডায়নামিক ম্যানেজারকে জানিয়ে দেয়।
  3. ডায়নামিক ম্যানেজার সংস্করণ নীতি প্রয়োগ করে এবং নতুন সংস্করণটি লোড করার সিদ্ধান্ত নিয়েছে।
  4. ডায়নামিক ম্যানেজার লোডারকে বলে যে পর্যাপ্ত মেমরি রয়েছে। লোডার নতুন ওজন সহ টেনসরফ্লো গ্রাফ ইনস্ট্যান্ট করে।
  5. একজন ক্লায়েন্ট মডেলের সর্বশেষতম সংস্করণে একটি হ্যান্ডেলের জন্য অনুরোধ জানায়, এবং ডায়নামিক ম্যানেজার সার্ভের নতুন সংস্করণে একটি হ্যান্ডেল ফেরত দেয়।

এক্সটেনসিবিলিটি

টেনসরফ্লো পরিবেশন বেশ কয়েকটি এক্সটেনশন পয়েন্ট সরবরাহ করে যেখানে আপনি নতুন কার্যকারিতা যুক্ত করতে পারেন।

সংস্করণ নীতি

সংস্করণ নীতিগুলি একক পরিবেশনযোগ্য স্ট্রিমের মধ্যে সংস্করণ লোডিং এবং আনলোডের ক্রম নির্দিষ্ট করে।

টেনসরফ্লো সার্ভিংয়ে এমন দুটি নীতি অন্তর্ভুক্ত রয়েছে যা সর্বাধিক পরিচিত ব্যবহারের ক্ষেত্রে মিলে যায়। এগুলি উপলভ্য সংরক্ষণের নীতি (শূন্য সংস্করণ লোড করা এড়ানো; সাধারণত কোনও পুরানো নাম আনার আগে একটি নতুন সংস্করণ লোড করা) এবং রিসোর্স সংরক্ষণ নীতি (একসাথে দুটি সংস্করণ লোড করা এড়িয়ে চলুন, এর ফলে দ্বিগুণ সংস্থান প্রয়োজন; লোড হওয়ার আগে একটি পুরানো সংস্করণ আনলোড করুন) একটি নতুন). টেনসরফ্লো সার্ভিংয়ের সহজ ব্যবহারের জন্য যেখানে কোনও মডেলের পরিবেশন উপলব্ধতা গুরুত্বপূর্ণ এবং সংস্থানটির ব্যয় কম, সেখানে উপলভ্য সংরক্ষণ নীতি নিশ্চিত করবে যে পুরানোটি আনলোড করার আগে নতুন সংস্করণটি লোড হয়েছে এবং প্রস্তুত। টেনসরফ্লো পরিবেশনার পরিশীলিত ব্যবহারের জন্য, উদাহরণস্বরূপ, একাধিক সার্ভারের উদাহরণস্বরূপ সংস্করণগুলি পরিচালনা করা, রিসোর্স সংরক্ষণ নীতিটির জন্য কমপক্ষে সংস্থান প্রয়োজন (নতুন সংস্করণ লোড করার জন্য কোনও অতিরিক্ত বাফার নেই)।

সূত্র

নতুন উত্সগুলি নতুন ফাইল সিস্টেম, ক্লাউড অফার এবং অ্যালগরিদম ব্যাকেন্ডগুলিকে সমর্থন করতে পারে। টেনসরফ্লো সার্ভিং নতুন উত্স তৈরি করা সহজ এবং দ্রুত করার জন্য কয়েকটি সাধারণ বিল্ডিং ব্লক সরবরাহ করে। উদাহরণস্বরূপ, টেনসরফ্লো পরিবেশন একটি সাধারণ উত্সের চারপাশে পোলিং আচরণ আবদ্ধ করার জন্য একটি ইউটিলিটি অন্তর্ভুক্ত। উত্স নির্দিষ্ট অ্যালগরিদম এবং ডেটা হোস্টিং সার্ভেবলগুলির জন্য লোডারগুলির সাথে ঘনিষ্ঠভাবে সম্পর্কিত।

কাস্টম উত্স কীভাবে তৈরি করা যায় সে সম্পর্কে আরও জানতে কাস্টম উত্স নথিটি দেখুন।

লোডার

লোডার হ'ল অ্যালগরিদম এবং ডেটা ব্যাকেন্ডগুলি যুক্ত করার জন্য এক্সটেনশন পয়েন্ট। টেনসরফ্লো হ'ল এই জাতীয় একটি অ্যালগরিদম ব্যাকএন্ড। উদাহরণস্বরূপ, আপনি নতুন ধরণের পরিবেশনযোগ্য মেশিন লার্নিং মডেলটির উদাহরণ লোড করতে, অ্যাক্সেস সরবরাহ করতে এবং আনলোড করার জন্য একটি নতুন লোডার প্রয়োগ করবেন। আমরা অনুসন্ধানের সারণী এবং অতিরিক্ত অ্যালগরিদমের জন্য লোডার তৈরির প্রত্যাশা করি।

কাস্টম সার্ভেবল কীভাবে তৈরি করবেন তা শিখতে কাস্টম সার্ভেবল ডকুমেন্টটি দেখুন।

ব্যাচার

একক অনুরোধে একাধিক অনুরোধের ব্যাচিং বিশেষত জিপিইউর মতো হার্ডওয়্যার এক্সিলার্সের উপস্থিতিতে অনুমানের ব্যয়টি উল্লেখযোগ্যভাবে হ্রাস করতে পারে। টেনসরফ্লো সার্ভিংয়ের মধ্যে একটি অনুরোধ ব্যাচিং উইজেট অন্তর্ভুক্ত রয়েছে যা ক্লায়েন্টদের সহজেই তাদের টাইপ-নির্দিষ্ট সূচীগুলি ব্যাচ অনুরোধগুলিতে ব্যাচ অনুরোধগুলিতে সহজে ব্যাচ করতে দেয় যা অ্যালগরিদম সিস্টেমগুলি আরও দক্ষতার সাথে প্রক্রিয়া করতে পারে। আরও তথ্যের জন্য ব্যাচিং গাইড দেখুন।