TFF সহযোগীদের 8/11/2022 মিটিং থেকে নোট

প্রস্তাবিত এজেন্ডা বিষয়: জেরেমি লুই তার টিএফএফ-ভিত্তিক ধারণাগুলি নতুন উপাদানগুলির জন্য উপস্থাপন করবেন যা নির্মিত হতে পারে
[JL] সাধারণ ফেডারেটেড অ্যানালিটিক্স পরিস্থিতিতে ফোকাস করা, সাধারণ ফেড এভারেজিং করতে Google শীটের সাথে TFF সংযোগ করা। কুবারনেটসে কাজ করা, শীট থেকে পড়া।
[JL] একটি চ্যালেঞ্জ হল যে বর্তমানে কর্মীদের ইনগ্রেস পয়েন্ট থাকতে হবে।
- এটি প্রায়শই হয় না, তাই একটি পরিবহন স্তর প্রয়োজন যা বিপরীত দিকে সংযোগ স্থাপন করতে সক্ষম করে, শ্রমিকরা একটি সার্ভারকে কল করে।
- এই ধরনের উপাদান বর্তমানে ইকোসিস্টেমে নেই।
[BC] এর প্রয়োজনীয়তাও দেখেছেন। বর্তমানে একটি সীমিত ফ্যাশনে TFF ব্যবহার করে, ইন-হাউস ক্লাউড যেখানে ক্লায়েন্টরা ডেটা আপলোড করে। কিন্তু, একটি মাল্টি-ডেটাসেন্টার সেটিংয়ে স্থানান্তর করতে উপরে বর্ণিত JL-এর মতো কিছুর প্রয়োজন হবে।
[JL] এমন একটি স্তরের কথা চিন্তা করা যা কর্মীদের সার্ভারে একটি সারি থেকে কাজের আইটেমগুলিকে "টানতে" সক্ষম করবে - এটি বিদ্যমান রানটাইম প্রতিস্থাপন করা উচিত।
[KO] "প্রতিস্থাপন" এর পরিপ্রেক্ষিতে এটিকে ভাবতে হবে না - আপনি গণনা অথরিং এবং রানটাইমের 98% একই রাখতে পারেন এবং আপনি কেবল নতুন উপাদানে অদলবদল করতে চান যা পরিবর্তে আপনি যেভাবে প্রস্তাব করেন সেভাবে কাজ করে দূরবর্তী নির্বাহক বন্ধ করুন নির্বাহক অনুরোধগুলি উপরে নিচে রিলে করার জন্য একটি প্রক্রিয়া হিসাবে।
[BC] আপনার কি এটি অ্যাসিঙ্ক হতে হবে, নাকি এটি বিদ্যমান সিঙ্ক প্যারাডাইমের মধ্যে কাজ করবে।
[BC] এছাড়াও, কিছু বহির্গমন প্ল্যাটফর্ম "কাজের সারি" পদ্ধতি ব্যবহার করে, তাই এটি একটি প্রতিষ্ঠিত ধারণার মতো শোনায়।
[BC] টাইমআউট প্রবর্তন করাও সম্ভবত ব্যবধান পূরণ করতে সাহায্য করবে (ধীর কর্মী বা স্ট্রাগলারের সাথে মোকাবিলা করতে)।
[KO] সিঙ্ক বনাম অ্যাসিঙ্কের ক্ষেত্রে, আমাদের TFF-এ সম্মিলিত বিমূর্ততা রয়েছে যার জন্য একটি "সমষ্টি" ধারণা প্রয়োজন। যেমন, এমন একটি সময় থাকা দরকার যখন সেখানকার কিছু ক্লায়েন্ট একসাথে একটি "কোহর্ট"-এ যোগদান করার সিদ্ধান্ত নেয় এবং এটি ঘটতে সার্ভারকে একটি ভূমিকা পালন করতে হবে। যতক্ষণ এটি করা হয়, ক্লায়েন্টদের কাছে পৃথক নির্বাহক অনুরোধগুলি যেভাবে রিলে করা হয় তা পরিবর্তিত হতে পারে। রিমোট এক্সিকিউটর যা টপ-ডাউনকে কল করে এটি সম্পর্কে যাওয়ার একটি উপায়, তবে একমাত্র নয়; উপরে প্রস্তাবিত মত একটি কাজের আইটেম-ভিত্তিক যোগাযোগ প্যাটার্ন এছাড়াও স্পষ্টভাবে এই কাঠামোর মধ্যে ফিট হতে পারে. কেউ খসড়া জন্য একটি ছোট এক দুই পেজার প্রস্তাব জন্য উপাদান মত মনে হচ্ছে?
[JL] আমাদের সকলের পুনরাবৃত্তি করার জন্য একটি নতুন উপাদানের জন্য একটি প্রস্তাব লিখতে স্বেচ্ছাসেবী।
[JL] BTW, সম্পর্কিত কার্যকারিতা সহ অন্যান্য সংলগ্ন রেপো আছে কি?
[KO] FYI, https://github.com/google/federated-compute এছাড়াও Google থেকে, কিন্তু এটি বেশিরভাগই একটি মোবাইল দৃশ্যের উপর ফোকাস করে, এটি এই মুহুর্তে TFF এর সাথে সংযুক্ত নয়, এবং এতে আপনার কার্যকারিতা নেই এখানে বর্ণনা করছি, তাই এই গ্রুপে একটি ছোট প্রস্তাব প্রণয়ন করার চেষ্টা করা অবশ্যই বোধগম্য হবে।
[বিডি] সম্বোধন করার জন্য কিছু প্রশ্ন: ক্যাশিং ফলাফল, কখন একত্রিত করতে হবে।
[হাও] সম্ভবত এই দৃশ্যে ক্যাশে করার দরকার নেই যদি এটি অ্যাসিঙ্ক না হয়
[KO] একটি সাধারণ MapReduce প্যাটার্নের সাথে মানানসই পরিস্থিতিগুলির জন্য, TFF-এ আমাদের কিছু সমর্থন আছে, https://www.tensorflow.org/federated/api _docs/python/tff/backends/mapreduce দেখুন৷ এই লাইব্রেরিটি আপনাকে TFF গণনাগুলিকে একটি MapReduce-এর মতো ফর্মে অনুবাদ করতে সক্ষম করে যা আপনি একটি সহজ প্ল্যাটফর্মে সম্পাদন করতে পারেন। যাইহোক, অভিব্যক্তিতে কিছুটা ক্ষতি আছে, এবং আগে আলোচনা করা কিছু ধারণা যার জন্য sevrr এবং ক্লায়েন্টদের মধ্যে একাধিক রাউন্ডের পিছনে এবং সামনে যোগাযোগের প্রয়োজন ছিল এই কাঠামোতে প্রকাশযোগ্য হবে না। এবং, ক্রস-সিলো সেটিং অনন্যভাবে এই ধরণের ধারণাগুলিকে সম্ভব করে তোলে, যেহেতু আমরা সু-প্রস্তুত ক্লায়েন্টদের (সিলো) গোষ্ঠীগুলির সাথে কাজ করছি যেগুলি দীর্ঘস্থায়ী সংযোগ বজায় রাখতে পারে৷
[হাও] সমষ্টিগত অপ্স সম্পর্কে কি, অলরিডুস - সেগুলি সমর্থিত বা সামঞ্জস্যপূর্ণ
[KO] বর্তমানে নয়। Allreduce এর কিছুটা সীমিত ব্যবহার হবে, যেখানে এটি একটি একক ফেড এভারেজ পরিস্থিতিতে লিভারেজ করা যেতে পারে, এটি অনুমান করে যে প্রক্রিয়াকরণের রাউন্ডের মধ্যে সার্ভারে কোনও কাজ হচ্ছে না। আরও সাধারণ ক্ষেত্রে কাজ করবে না। কিন্তু, এর দুটি অর্ধেক থাকা - সম্প্রচারের দক্ষ মোড এবং একত্রিত করার দক্ষ মোড, সম্ভবত হার্ডওয়্যার ত্বরণের সাথেও, এমন কিছু হবে যা আমরা TFF-তে সুবিধা নিতে পারি।
[KO] মনে হচ্ছে JL একটি নতুন উপাদানের জন্য একটি প্রস্তাবের খসড়া শুরু করার জন্য প্রস্তুত, এবং এতে কী থাকা উচিত তা নিয়ে অন্যদের মতামত রয়েছে - আসুন সহযোগিতা করি (রুমের সকলের থেকে +1)। 2 সপ্তাহের মধ্যে পুনরায় মিলিত হতে, সম্ভবত আলোচনার জন্য একটি খসড়া সহ।