یادداشت ها از جلسه 2/16/2022 همکاران TFF تشکیل شده است

شركت كنندگان:

• کریستوف اوستروفسکی (گوگل)
• الکس اینجرمن (گوگل)
• دویت کلینتون (گوگل)
• بویی چن (لینکدین)
• Souvik Ghosh (LinkedIn)
• ژنگ لی (LinkedIn)

[چن] استفاده کنونی ما، زمینه‌های مورد علاقه برای مشارکت، فرآیندهای نحوه مشارکت. برنامه توسعه آینده

[boyi] امروز چگونه از FL استفاده می کنیم

• دو قسمت - یکی متقابل سیلو است
  • داده های کاربران ما
  • الزامات قانونی دسترسی به داده ها را محدود می کند
  • FL با داده های 3P مفید است
  • می تواند از داده ها استفاده کند در حالی که مطابق مقررات باقی بماند
• FL روی دستگاه - جالب است، اما بیشتر روی سیلوهای متقابل کار می کند
• چند پروژه که می توانستیم دنبال کنیم
  • در حال ساخت نمونه های اولیه بوده اند
  • TFF مفید است
  • معیار FL در مقابل یادگیری انتقال شخصی
    • استفاده از داده های مشتریان برای آموزش یک مدل شخصی برای هر مشتری در مقابل یادگیری انتقال f، مقایسه کنید
    • چالش هایی با نحوه کار FL
      • برخی از مشتریان بزرگتر از دیگران -> تعصب
      • مشتریانی که بیشترین سهم را دارند در مورد رایگان سواران نگران هستند. مشتریانی که کمترین داده را دارند، نگران این هستند که به اندازه کافی بر مدل تأثیر نگذارند
    • چالش های مقیاس پذیری
      • در حال حاضر برای استنتاج (صدها M)
      • داده های آموزشی در حال حاضر آنقدر بزرگ نیستند (10s-100sK/سیلو)
      • اجرای استنتاج به صورت دسته ای بر روی O (صدها M) کلاینت
      • حجم کل داده ها به عنوان چالش اصلی
        • سوابق در همه مشتریان
      • اندازه خوشه در حال حاضر محدود است و سرعت استنتاج را محدود می کند
    • کلاینت = سیلویی که نیاز به ترکیب داده با سیلوهای دیگر ندارد. کاردینالیته چیست؟
      • در حال انجام آزمایش‌ها، می‌خواهید در آینده به 100 هزار سیلو برسید
    • عددی که برای # مشتری TFF دیده اید چقدر است؟
      • روی دستگاه: تعداد زیادی سیلو داده کوچک؛ x-silo تعداد کمی از مجموعه داده های بزرگ است
    • سیلوها چقدر شبیه هم هستند؟
      • طرحواره ها یکسان هستند، اما توزیع داده ها در سیلوها بسیار متفاوت است. مشارکت نابرابر
  • [K] آیا به TFF برای استنباط و همچنین آموزش فکر می کنید؟
    • [B] در حال حاضر، از TFF برای آموزش استفاده کنید. ترجیح می‌دهند در چارچوب یکسانی آموزش ببینند و استنباط کنند.
    • [K] همان مادون یا همان مدل ها؟
    • [b} در حال حاضر، همان مدل و همان خوشه
  • [B] می‌خواهید نحوه آموزش مدل‌ها و استقرار در دستگاه‌ها را بدانید.
  • [S] نیاز به آموزش مدل ها در یک محیط، بیرون آوردن و استفاده در محیط دیگر مهم است. فقط نه با اولین برنامه.

[B] آنچه می خواهیم بسازیم:

• یک ایده برای مشارکت، هنگامی که معیارهایی را در مورد عدالت انجام دادیم، می‌توانیم ابزارها و معیارهایی را به TFF اضافه کنیم.
  • نحوه عملکرد مدل در سیلوها (عملکرد نابرابر و تعصب)
• [K] آیا آن را در عمل مشکل می بینید؟ [B] ما معتقدیم که در عمل مشکل ساز خواهد شد.
• [B] به این موضوع از منظر خصمانه فکر کنید. مردم نگران قرار دادن داده ها در جعبه خواهند بود. این یک نگرانی کلی است اما ما معیار خاصی نداریم.
• [K] ما به کدام موضوع می پردازیم؟ آیا شما در مورد وضعیتی صحبت می کنید که در آن سیلوها + مقررات در مورد نحوه پردازش آن وجود دارد - اما این خصمانه نیست، شما فقط نمی خواهید سوگیری ایجاد کنید. در مقابل. وضعیت دیگری که در آن نهادهای متعددی وجود دارند که به طرفین بی اعتماد هستند. آیا ما به یکی از اینها فکر می کنیم یا هر دو؟
• [B] ما می خواهیم به هر دو نگاه کنیم. در حال حاضر فقط به دومی فکر کنید.
• [D] به عنوان مثال سیلو در اینجا شرکت ها هستند، و مجموعه داده ها داده هایی هستند که توسط هر کدام آپلود می شوند
• [K] شما نگرانی‌های مربوط به بارگذاری رایگان را برجسته می‌کنید. اما احزاب بی اعتماد متقابل نیز وجود دارند. آیا طرفین می خواهند از دیدن داده ها توسط دیگران/شما جلوگیری کنند؟ این نگرانی ها در تنش است. از یک طرف می خواهید مشارکت را برای جلوگیری از حملات تأیید کنید، از طرف دیگر نمی خواهید محتوا را ببینید، برای حفظ حریم خصوصی
• [B] از دو جهت به آن نگاه کنید. یکی حفظ حریم خصوصی است - از طریق DP و غیره. بخش دیگر، از دیدگاه عملکرد مدل، هنگامی که از داده های بسیاری از سیلوها آموزش داده می شود، این نگرانی وجود دارد که سیلوهای مختلف به طور متفاوتی سود می برند. ما فکر می کنیم یک راه استاندارد برای نزدیک شدن به اولی وجود دارد. دومی مشکل تر است.
• [K] انصاف به این معنا که مدل عملکرد خوبی دارد. یکی دیگر می تواند رایگان باشد. این دومی است که بیشتر در تنش با حریم خصوصی است. آیا نگران آن هستید؟
• [B] هر دو به یک اندازه مهم هستند. می خواهید هم از حریم خصوصی داده ها محافظت کنید و هم راهی عادلانه برای توزیع مزایا داشته باشید.
• [S] ما هنوز پاسخ های خوبی نداریم. [K] همان.
• [D] این شرکت ها چقدر به لینکدین برای اجرای این کار اعتماد دارند؟
• [S] اعتماد تا کنون مسئله ای نبوده است، حداقل در نمونه هایی که من از آنها مطلع هستم. ما برخی از درخواست‌های محدودیت داشته‌ایم، اما رد قطعی نداشتیم. مردم مایلند داده ها را برای ما به اشتراک بگذارند تا ارزش مشترک ایجاد کنیم.
• [A] نگرانی در مورد حریم خصوصی سیلوها یا افراد درون سیلوها؟
• [S] دومی

[D] آیا این بر روی Azure ساخته می شود؟ سایر موارد استقرار که باید در مورد آنها فکر کنیم؟

• [S] در نهایت GPU ها وارد خواهند شد. مدل های اولیه کوچکتر خواهند بود و نیازهای کمتری دارند. در نهایت، این شامل تعداد زیادی از اعضا و شرکت ها می شود ← مدل ها نسبتاً بزرگ خواهند شد.
• [D] آیا این همان لاجوردی است که در دسترس عموم است؟ یا مقداری مادون داخلی برای هدف قرار دادن، که در خارج قابل مشاهده نیست.
• [S] چیزهای بسیار استاندارد.
• [D] همکاری را آسان‌تر می‌کند، کد OSS را ارزشمندتر می‌کند، زیرا همه می‌توانند آن را در لاجورد عمومی اجرا کنند.

[K] بیایید چیزهایی بسازیم! اینها باید چی باشند؟ ما به مجموعه معیار و پلت فرم متقابل سیلو اشاره کردیم. WDYT در مورد معرفی PRD در عموم، در مورد ویژگی ها و موارد استفاده صحبت کنید؟

• [Z] مشخصات محصول چگونه به نظر می رسد؟ اجزای کوچک در TFF؟
• [k] می‌توانیم در مورد کامپوننت‌ها یا محصولی صحبت کنیم که می‌تواند بر روی tff ساخته شود و در دسترس دیگران باشد.
• [Z] من می خواهم بفهمم - آیا این روند مشارکت است؟ با محصول شروع کنیم؟
• [k] ما در اینجا در حال انجام فرآیند هستیم. بستگی به جایی دارد که احساس راحتی می کنید.
• [Z] آیا نمونه هایی از چنین محصولاتی دارید، شاید خارج از TFF اما در TF.
• [K] TF فرآیندی برای اسناد طراحی دارد. ما می توانیم این یادداشت ها را به چیزی شبیه به آن تبدیل کنیم. به عنوان مثال، سیلوها، به طور متقابل بی اعتماد هستند، می خواهند از تکنیک هایی مانند DP استفاده کنند، باید روی Azure کار کنند.
• [D] داشتن فهرستی از موارد استفاده مفید است، بدون افشای اطلاعات
• [K] ما می‌خواهیم یک نقشه راه، اسناد، نمونه‌هایی از موارد استفاده ایجاد کنیم که به هر حال در TFF وجود خواهد داشت، می‌توانیم با هم شروع کنیم. اگر شروع کوچک آسان‌تر است، بیایید این کار را انجام دهیم.
• [B] من تحقیقات زیادی در مورد چالش ها در FL می بینم. شاید بتوانیم چند ابزار برای رفع این چالش ها در نظر بگیریم و از آنجا شروع کنیم. به عنوان مثال مشابه با سواری آزاد، ناهمگونی داده ها - به نظر می رسد چالش رایج در تنظیمات فدرال است. ابزارها به طور جهانی مفید خواهند بود.
  • [K] ابزاری برای ارزیابی چالش ها؟ یا اجزای سیستم
  • [B] عملکردی که TFF می تواند ارائه دهد
  • [K] +1. شروع با PRD زمینه ای را برای صحبت در مورد ویژگی ها فراهم می کند، اما همچنین می توانیم در مورد ویژگی ها به صورت جداگانه صحبت کنیم. شاید بتوانیم با سندی شروع کنیم که چالش بارگیری رایگان را توصیف می کند و به سمت ابزارهایی برای مقابله با آن کار می کند.
  • [D] ما همچنین با محققان کار می کنیم. آیا لینکدین قصد دارد علاوه بر محصول، خروجی های تحقیقاتی نیز تولید کند؟
  • [Z] در کوتاه مدت، هنوز برای تحقیق نیست.

[K] به نظر می رسد که می توانیم با چند سند مشترک شروع کنیم، شروع به توصیف برخی ویژگی ها یا مؤلفه ها کنیم؟ هر یک از طرفین می توانند شروع کنند. ما می توانیم از Google Docs و ایمیل استفاده کنیم. به طور پیش فرض به صورت عمومی اجازه می دهد.

[استروسکی] آنچه می‌خواهیم بسازیم، و اولین قدم‌های مشخصی که می‌توانیم برداریم

• هدف گذاری بیش از یک جلسه دیگر - هوش مصنوعی برای خودمان؟
• ما شروع به توصیف چند محصول / پروژه خاص کرده ایم
  • مجموعه معیار
  • پلت فرم متقابل سیلو با محافظ های DP، عدالت، بارگیری آزاد
• مراحل بعدی احتمالی
  • یک سند الزامات محصول را شروع کنید و آن را آشکارا برای هر یک از موارد بالا با هم بیان کنید؟
  • شروع به تبادل ایده های سطح طراحی کنید؟
  • برنامه های بالقوه برای مشارکت واقعی توسعه؟
    • مؤلفه ها / ویژگی های خاصی که می خواهید توسعه دهید؟
• مصنوعات خاص برای ایجاد:
  • سند مشترکی که مشکل بارگیری آزاد و الزامات یک ابزار یا ویژگی در TFF را توصیف می کند که می تواند آن را برطرف کند
  • سند مشترکی که معیارهای سوگیری در سیلوها با مقادیر نابرابر داده را توصیف می کند، آنچه ما می خواهیم معیار اندازه گیری کند
  • سند مشترکی که مؤلفه جدیدی را تعریف می‌کند که TFF را قادر می‌سازد در محیط مبتنی بر Azure عمل کند (TBD باید با کدام لایه ادغام شود)

[استروسکی] ارتباط آشکار

• چه چیزی را برای عموم در دسترس قرار دهیم (در صفحه فرود GitHub )
• خلاصه ای از بحث ها و تصمیمات حاصل از این جلسه و جلسات بعدی که ظرف چند روز پس از هر جلسه در صفحه GitHub در دسترس خواهد بود.
• پیوندهایی به مصنوعات (هر گونه طرح، نقشه راه، اسناد طراحی و غیره که باید ایجاد شود) به همین ترتیب در GitHub منتشر می شود
• مکالمات (چت؟)
  • سستی
• اهداف مشترک:
  • محصولات / اجزای خاص در محدوده؟
  • منشور برای یک گروه کاری خاص تر / با دامنه محدود برای حمایت از توسعه این؟

[B] برای مسائل کوچک و عملیاتی چه باید کرد؟

• [K] مشکلات Slack یا GitHub می توانند کار کنند. چه چیزی برای شما مثمر ثمر خواهد بود؟

[ostrowski] برنامه جلسات مکرر که می توانیم به طور مشترک به آن متعهد شویم؟

• Montlhy