নোটগুলি TFF সহযোগীদের 2/16/2022 মিটিং গঠন করে, নোটগুলি TFF সহযোগীদের 2/16/2022 মিটিং গঠন করে

অংশগ্রহণকারীরা:

• Krzysztof Ostrowski (Google)
• অ্যালেক্স ইনগারম্যান (গুগল)
• ডিউইট ক্লিনটন (গুগল)
• বয়ি চেন (লিঙ্কডইন)
• সৌভিক ঘোষ (লিংকডইন)
• ঝেং লি (লিঙ্কডইন)

[চেন] আমাদের বর্তমান ব্যবহার, অবদানের আগ্রহের ক্ষেত্র, কীভাবে অবদান রাখতে হয় তার প্রক্রিয়া; ভবিষ্যত উন্নয়ন পরিকল্পনা

[boyi] আমরা আজ কিভাবে FL ব্যবহার করছি

• দুটি অংশ - একটি ক্রস-সিলো
  • আমাদের ব্যবহারকারীদের ডেটা
  • আইনি প্রয়োজনীয়তা তথ্য অ্যাক্সেস সীমাবদ্ধ
  • FL 3P ডেটা সহ সুবিধাজনক
  • প্রবিধানের সাথে সঙ্গতিপূর্ণ থাকাকালীন ডেটা লিভারেজ করতে পারে
• অন-ডিভাইস FL - আকর্ষণীয়, কিন্তু বেশিরভাগই ক্রস-সিলোতে কাজ করে
• কয়েকটি প্রকল্প যা আমরা অনুসরণ করতে পারি
  • প্রোটোটাইপ নির্মাণ করা হয়েছে
  • TFF কাজে আসে
  • বেঞ্চমার্ক FL বনাম ব্যক্তিগতকৃত স্থানান্তর শিক্ষা
    • প্রতিটি ক্লায়েন্ট বনাম স্থানান্তর শেখার জন্য একটি ব্যক্তিগতকৃত মডেল প্রশিক্ষণের জন্য ক্লায়েন্টের ডেটা ব্যবহার করে, তুলনা করুন
    • FL কিভাবে কাজ করে তার সাথে চ্যালেঞ্জ
      • কিছু ক্লায়েন্ট অন্যদের থেকে বড় -> পক্ষপাতিত্ব
      • সবচেয়ে বেশি অবদান রাখা ক্লায়েন্টরা ফ্রি-রাইডারদের নিয়ে চিন্তিত; ন্যূনতম ডেটা সহ ক্লায়েন্টরা মডেলটিকে যথেষ্ট প্রভাবিত না করার বিষয়ে চিন্তিত
    • স্কেলেবিলিটি চ্যালেঞ্জ
      • এই মুহূর্তে অনুমানের জন্য (শত শত এম)
      • প্রশিক্ষণের ডেটা বর্তমানে তেমন বড় নয় (10s-100sK/silos)
      • O(শত শত M) ক্লায়েন্টের উপর ব্যাচে অনুমান চলছে
      • মূল চ্যালেঞ্জ হিসাবে মোট ডেটা ভলিউম
        • সমস্ত ক্লায়েন্ট জুড়ে রেকর্ড
      • ক্লাস্টারের আকার এখন সীমিত, অনুমানের হার সীমিত
    • ক্লায়েন্ট = সাইলো যাতে ডেটা অন্য সাইলোর সাথে মিশে না যায়। কার্ডিনালিটি কি?
      • এখন পরীক্ষা-নিরীক্ষা করছেন, ভবিষ্যতে হাজার হাজার সাইলোর 100-এ স্কেল করতে চান
    • # টিএফএফ ক্লায়েন্টের জন্য আপনি কত নম্বর দেখেছেন?
      • ডিভাইসে: বড় সংখ্যক ছোট ডেটা সাইলো; x-silo হল ছোট সংখ্যক বড় ডেটাসেট
    • সাইলো কতটা অনুরূপ?
      • স্কিমা একই, কিন্তু ডেটা বিতরণ সাইলো জুড়ে অনেক আলাদা। অসম অংশগ্রহণ
  • [কে] আপনি কি অনুমানের পাশাপাশি প্রশিক্ষণের জন্য TFF এর কথা ভাবছেন?
    • [খ] এই মুহূর্তে, প্রশিক্ষণের জন্য TFF ব্যবহার করুন; একই কাঠামোতে প্রশিক্ষণ এবং অনুমান করতে পছন্দ করবে।
    • [কে] একই ইনফ্রা বা একই মডেল?
    • [b} এই মুহূর্তে, একই মডেল এবং একই ক্লাস্টার
  • [খ] মডেলগুলিকে কীভাবে প্রশিক্ষণ দেওয়া যায় এবং ডিভাইসগুলিতে স্থাপন করা যায় তা বুঝতে চাই৷
  • [এস] মডেলগুলিকে এক পরিবেশে প্রশিক্ষণ দেওয়া, অন্য পরিবেশে নেওয়া এবং ব্যবহার করা গুরুত্বপূর্ণ। শুধু প্রথম আবেদন সঙ্গে না.

[খ] আমরা যা তৈরি করতে চাই:

• অবদানের জন্য একটি ধারণা, একবার আমরা ন্যায্যতার মাপকাঠি তৈরি করি, আমরা TFF-এ টুল এবং বেঞ্চমার্ক যোগ করতে পারি
  • মডেলটি সাইলো জুড়ে কীভাবে কাজ করে (অসম কর্মক্ষমতা এবং পক্ষপাত)
• [কে] আপনি কি অনুশীলনে এটিকে সমস্যা হিসাবে দেখেন? [বি] আমরা বিশ্বাস করি এটি অনুশীলনে একটি সমস্যা হবে।
• [খ] প্রতিপক্ষের দৃষ্টিকোণ থেকে এটি সম্পর্কে চিন্তা করুন। লোকেরা বাক্সে ডেটা রাখার বিষয়ে উদ্বিগ্ন হবে। এটি একটি সাধারণ উদ্বেগ কিন্তু আমাদের একটি নির্দিষ্ট মেট্রিক নেই।
• [কে] কোন জিনিস আমরা সম্বোধন করা হয়? আপনি কি এমন পরিস্থিতির কথা বলছেন যেখানে এটি কীভাবে প্রক্রিয়া করা যায় সে সম্পর্কে সিলোস + নিয়ন্ত্রণ রয়েছে - তবে এটি প্রতিপক্ষ নয়, আপনি কেবল পক্ষপাত তৈরি করতে চান না। বনাম আরেকটি পরিস্থিতি যেখানে একাধিক প্রতিষ্ঠান আছে, পারস্পরিক অবিশ্বাসী দল। আমরা কি এইগুলির একটি বা উভয়ের কথা ভাবছি?
• [খ] আমরা উভয় দিকে তাকাতে চাই; এখন শুধু পরের কথা চিন্তা করুন।
• [ডি] যেমন সাইলো এখানে কোম্পানি, এবং ডেটাসেটগুলি প্রত্যেকের দ্বারা আপলোড করা ডেটা
• আপনি ফ্রিলোডিং নিয়ে উদ্বেগ তুলে ধরছেন। তবে পারস্পরিক অবিশ্বাসী দলগুলিও রয়েছে। দলগুলো কি অন্যদের/আপনাকে ডেটা দেখা থেকে আটকাতে চায়? এসব উদ্বেগ টেনশনে রয়েছে। একদিকে আক্রমণ প্রতিরোধে অবদান যাচাই করতে চান, অন্যদিকে গোপনীয়তার জন্য বিষয়বস্তু দেখতে চান না
• [খ] এটিকে ২টি উপায়ে দেখুন। একটি হল গোপনীয়তা রক্ষা করা - ডিপি ইত্যাদির মাধ্যমে। অন্য অংশে, মডেল পারফরম্যান্সের দৃষ্টিকোণ থেকে, যখন অনেক সাইলোর ডেটা থেকে প্রশিক্ষণ দেওয়া হয়, তখন একটি উদ্বেগ থাকে যে বিভিন্ন সাইলো আলাদাভাবে উপকৃত হয়। আমরা মনে করি পূর্বের কাছে যাওয়ার একটি আদর্শ উপায় আছে; পরেরটি আরও জটিল।
• [কে] ন্যায্যতা এই অর্থে যে মডেলটি ভাল কাজ করে; অন্য একটি ফ্রিলোডিং হতে পারে. এটা গোপনীয়তা নিয়ে টেনশনে বেশি। আপনি এটা সম্পর্কে উদ্বিগ্ন?
• [খ] দুটোই সমান গুরুত্বপূর্ণ। ডেটা গোপনীয়তা রক্ষা করতে এবং সুবিধাগুলি বিতরণ করার একটি ন্যায্য উপায় উভয়ই চাই৷
• [এস] আমাদের কাছে এখনও ভাল উত্তর নেই। [কে] একই.
• [ডি] এই সংস্থাগুলি এটি পরিচালনা করার জন্য লিঙ্কডইনকে কতটা বিশ্বাস করে?
• [এস] বিশ্বাস এখনও পর্যন্ত একটি সমস্যা ছিল না, অন্তত উদাহরণে আমি সচেতন। আমাদের কিছু সীমাবদ্ধতার অনুরোধ ছিল, কিন্তু কোনো প্রত্যাখ্যান হয়নি। সাধারণ মান তৈরি করার জন্য লোকেরা আমাদের জন্য ডেটা ভাগ করতে ইচ্ছুক।
• [ক] শুধু সাইলোর গোপনীয়তা নিয়ে উদ্বিগ্ন, নাকি সাইলোর মধ্যে থাকা ব্যক্তিদের?
• [এস] পরবর্তী

[ডি] এটি কি আজুরে নির্মিত হচ্ছে? অন্যান্য স্থাপনার বিষয়ে আমাদের ভাবতে হবে?

• [এস] অবশেষে জিপিইউ আসবে; প্রাথমিক মডেলগুলি ছোট হবে এবং কম চাহিদা থাকবে৷ অবশেষে, এতে বিপুল সংখ্যক সদস্য এবং উদ্যোগ জড়িত হবে → মডেলগুলি মোটামুটি বড় হবে।
• [D] এটি কি একই আকাশী যা সর্বজনীনভাবে পাওয়া যায়? অথবা কিছু অভ্যন্তরীণ অবকাঠামো লক্ষ্য করার জন্য, যা বাইরে দৃশ্যমান নয়।
• [এস] বেশ মানক জিনিস.
• [D] সহযোগিতা করা সহজ করে তোলে, OSS কোডকে আরও মূল্যবান করে তোলে কারণ সবাই এটিকে পাবলিক অ্যাজুরে চালাতে পারে।

[কে] এর জিনিস তৈরি করা যাক! এগুলো কি হওয়া উচিত? আমরা বেঞ্চমার্ক স্যুট এবং ক্রস-সিলো প্ল্যাটফর্ম উল্লেখ করেছি। WDYT জনসাধারণের মধ্যে একটি PRD আউট fleshing সম্পর্কে, বৈশিষ্ট্য এবং ব্যবহার ক্ষেত্রে কথা বলুন?

• [Z] পণ্যের স্পেক দেখতে কেমন? TFF এ ছোট উপাদান?
• [k] আমরা উপাদান সম্পর্কে কথা বলতে পারি, বা এমন একটি পণ্য যা tff এর উপরে তৈরি করা যেতে পারে এবং অন্যদের কাছে উপলব্ধ হতে পারে।
• [জেড] আমি বুঝতে চাই - এটি কি অবদানের প্রক্রিয়া? পণ্য দিয়ে শুরু করবেন?
• [k] আমরা এখানে প্রক্রিয়া তৈরি করছি। আপনি যেখানে স্বাচ্ছন্দ্য বোধ করেন তার উপর নির্ভর করে।
• [Z] আপনার কাছে কি এই ধরনের পণ্যের উদাহরণ আছে, হয়তো TFF এর বাইরে কিন্তু TF-তে।
• [কে] টিএফ ডিজাইন ডক্সের জন্য একটি প্রক্রিয়া আছে। আমরা এই নোটগুলিকে এমন কিছুতে রূপান্তর করা শুরু করতে পারি। যেমন সাইলোস, পারস্পরিক অবিশ্বাস, ডিপির মতো কৌশল ব্যবহার করতে চান, আজুরে কাজ করতে হবে
• [D] তথ্য প্রকাশ না করে ব্যবহারের ক্ষেত্রে একটি ডিরেক্টরি থাকা সহায়ক
• [কে] আমরা একটি রোডম্যাপ, ডক্স, ব্যবহারের উদাহরণগুলি বিকাশ করতে চাই যা যেভাবেই হোক TFF-তে বিদ্যমান থাকবে, আমরা একসাথে শুরু করতে পারি। ছোট শুরু করা সহজ হলে, সব উপায়ে এটি করতে দিন।
• [বি] আমি FL-তে চ্যালেঞ্জ নিয়ে অনেক গবেষণা দেখি। হয়ত আমরা এই চ্যাল;লেঞ্জগুলি মোকাবেলা করার জন্য কয়েকটি সরঞ্জাম নিতে পারি এবং সেখানে শুরু করতে পারি। যেমন ফ্রি-রাইডিংয়ের মতো, ডেটা ভিন্নতা - ফেডারেটেড সেটিংসে সাধারণ চ্যালেঞ্জ বলে মনে হয়। সরঞ্জামগুলি সর্বজনীনভাবে কার্যকর হবে।
  • চ্যালেঞ্জ মূল্যায়ন টুলস? বা সিস্টেমের উপাদান।
  • [খ] কার্যকারিতা যা TFF প্রদান করতে পারে
  • [কে] +1. PRD দিয়ে শুরু করে বৈশিষ্ট্যগুলি সম্পর্কে কথা বলার প্রসঙ্গ দেয়, তবে আমরা বিচ্ছিন্নভাবে বৈশিষ্ট্যগুলি সম্পর্কেও কথা বলতে পারি। হতে পারে আমরা ডক দিয়ে শুরু করতে পারি যা ফ্রিলোডিং চ্যালেঞ্জ বর্ণনা করে এবং মোকাবেলা করার জন্য সরঞ্জামগুলির দিকে কাজ করে।
  • [D] আমরা গবেষকদের সাথেও কাজ করি। লিঙ্কডইন কি পণ্য ছাড়াও গবেষণার ফলাফল তৈরি করার লক্ষ্য রাখছে?
  • [জেড] স্বল্প মেয়াদে, গবেষণার জন্য এখনও নয়।

[কে] মনে হচ্ছে আমরা কয়েকটি ভাগ করা ডক্স দিয়ে শুরু করতে পারি, কিছু বৈশিষ্ট্য বা উপাদান বর্ণনা করতে শুরু করতে পারি? যেকোনো পক্ষই উদ্যোগ নিতে পারে। আমরা গুগল ডক্স এবং ইমেইল ব্যবহার করতে পারি। ইন-পাবলিক ডিফল্ট দেয়.

[ostrowski] আমরা কি নির্মাণ করতে চাই, এবং আমরা কোন কংক্রিট প্রথম পদক্ষেপ নিতে পারি

• অন্য মিটিংয়ের চেয়ে বেশি লক্ষ্য করা - নিজেদের জন্য এআই?
• আমরা কয়েকটি নির্দিষ্ট পণ্য/প্রকল্পের বর্ণনা শুরু করেছি
  • বেঞ্চমার্ক স্যুট
  • ডিপি, ন্যায্যতা, ফ্রি-লোডিং প্রোটেসিটন সহ ক্রস-সিলো প্ল্যাটফর্ম
• সম্ভাব্য পরবর্তী পদক্ষেপ
  • একটি পণ্যের প্রয়োজনীয়তা ডক শুরু করুন এবং উপরের প্রতিটির জন্য একসাথে এটিকে প্রকাশ্যে আউট করবেন?
  • ডিজাইন-স্তরের ধারণা বিনিময় শুরু করবেন?
  • প্রকৃত উন্নয়ন অবদানের জন্য সম্ভাব্য পরিকল্পনা?
    • আপনি বিকাশ করতে চান যে নির্দিষ্ট উপাদান / বৈশিষ্ট্য?
• তৈরি করার জন্য নির্দিষ্ট নিদর্শন:
  • শেয়ার্ড ডক যা ফ্রিলোডিং সমস্যা এবং TFF-তে একটি টুল বা বৈশিষ্ট্যের প্রয়োজনীয়তা বর্ণনা করে যা এটি সমাধান করতে পারে
  • শেয়ার্ড ডক যা অসম পরিমাণ ডেটা সহ সাইলো জুড়ে পক্ষপাতের মানদণ্ড বর্ণনা করে, আমরা বেঞ্চমার্কটি কী পরিমাপ করতে চাই
  • শেয়ার্ড ডক যা একটি নতুন উপাদান সংজ্ঞায়িত করে যা টিএফএফকে Azure-ভিত্তিক পরিবেশে কাজ করতে সক্ষম করবে (TBD কোন স্তরের সাথে এটিকে একীভূত করতে হবে)

[ostrowski] খোলামেলা যোগাযোগ

• কি সর্বজনীনভাবে উপলব্ধ করতে হবে ( GitHub ল্যান্ডিং পৃষ্ঠায় )
• এটি থেকে আলোচনা এবং সিদ্ধান্তের সারাংশ এবং ফলো-আপ মিটিংগুলি গিটহাব পৃষ্ঠায় প্রতিটি সভার পরে কয়েক দিনের মধ্যে উপলব্ধ করা হবে
• আর্টিফ্যাক্টের লিঙ্ক (যেকোন পরিকল্পনা, রোডম্যাপ, ডিজাইন ডক্স, ইত্যাদি তৈরি করা হবে) একইভাবে GitHub-এ প্রকাশ করা হবে
• কথোপকথন (চ্যাট?)
  • স্ল্যাক
• ভাগ করা লক্ষ্য:
  • সুযোগে নির্দিষ্ট পণ্য / উপাদান?
  • এগুলোর উন্নয়নে সহায়তা করার জন্য আরও সুনির্দিষ্ট/সংকীর্ণ স্কোপড ওয়ার্কিং গ্রুপের জন্য চার্টার?

[খ] ছোট, অপারেশনাল সমস্যার জন্য কি করতে হবে?

• [কে] স্ল্যাক বা গিটহাব সমস্যা কাজ করতে পারে। কি আপনার জন্য উত্পাদনশীল হবে?

[ostrowski] পুনরাবৃত্ত বৈঠকের সময়সূচী আমরা যৌথভাবে প্রতিশ্রুতিবদ্ধ করতে পারি?

• মন্থলি