TFF işbirlikçilerinin 16.2.2022 tarihli toplantısından notlar

Katılımcılar:

• Krzysztof Ostrowski (Google)
• Alex Ingerman (Google)
• DeWitt Clinton (Google)
• Boyi Chen (LinkedIn)
• Souvik Ghosh (LinkedIn)
• Zheng Li (LinkedIn)

[chen] Mevcut kullanımımız, katkıların ilgi alanları, nasıl katkıda bulunacağımızla ilgili süreçler; gelecekteki kalkınma planı

[boyi] Bugün FL'yi nasıl kullanıyoruz

• İki parça - biri çapraz silo
  • Kullanıcılarımızın verileri
  • Yasal gereksinimler verilere erişimi kısıtlar
  • FL, 3P verileriyle kullanışlı hale geliyor
  • Yönetmelikle uyumlu kalırken verilerden yararlanabilir
• Cihazda FL - ilginç, ancak çoğunlukla çapraz silo üzerinde çalışıyor
• Takip edebileceğimiz birkaç proje
  • Prototipler inşa ediyor
  • TFF işe yarıyor
  • Benchmark FL ile kişiselleştirilmiş transfer öğrenimi karşılaştırması
    • Her bir müşteri için kişiselleştirilmiş bir model eğitmek için müşterilerin verilerini kullanarak transfer öğrenimi f, karşılaştırın
    • FL'nin çalışma şekliyle ilgili zorluklar
      • Bazı müşteriler diğerlerinden daha büyük -> önyargı
      • En çok katkıda bulunan müşteriler bedavacılar konusunda endişeli; En az veriye sahip müşteriler, modeli yeterince etkilememekten endişe duyuyor
    • Ölçeklenebilirlik zorlukları
      • Şu anda çıkarım için (yüzlerce M)
      • Eğitim verileri şu anda o kadar büyük değil (10s-100sK/silolar)
      • O(yüzlerce M) istemci üzerinde toplu çıkarım çalıştırma
      • Ana zorluk olarak toplam veri hacmi
        • Tüm istemcilerde kayıtlar
      • Küme boyutu artık sınırlıdır, çıkarım oranını sınırlar
    • İstemci = verilerin diğer silolarla karıştırılmaması gereken silo. kardinalite nedir?
      • Şimdi deneyler yapıyor, gelecekte 100 binlerce siloya ölçeklendirmek istiyorum
    • # TFF müşterisi için gördüğünüz sayı nedir?
      • Cihazda: çok sayıda küçük veri silosu; x-silo, az sayıda büyük veri kümesidir
    • Silolar ne kadar benzer?
      • Şemalar aynıdır, ancak verilerin dağılımı silolar arasında çok farklıdır. Eşitsiz katılım
  • [K] TFF'yi eğitimin yanı sıra çıkarım için mi düşünüyorsunuz?
    • [B] Şu anda eğitim için TFF'yi kullanın; aynı çerçeve üzerinde eğitim ve çıkarım yapmayı tercih eder.
    • [K] Aynı kızılötesi mi yoksa aynı modeller mi?
    • [b} şu anda, aynı model ve aynı küme
  • [B] Modellerin nasıl eğitileceğini ve cihazlara nasıl dağıtılacağını anlamak istiyorsunuz.
  • [S] Modelleri bir ortamda eğitmek, çıkarıp başka bir ortamda kullanmak önemlidir. Sadece ilk uygulama ile değil.

[B] İnşa etmek istediğimiz şey:

• Katkı için bir fikir, adalet konusunda kıyaslama yaptığımızda, TFF'ye araçlar ve kıyaslamalar ekleyebiliriz.
  • Model silolar arasında nasıl bir performans sergiliyor (eşit olmayan performans ve yanlılık)
• [K] Pratikte sorun olarak görüyor musunuz? [B] Pratikte sorun olacağına inanıyoruz.
• [B] Bunu düşmanca bir bakış açısıyla düşünün. İnsanlar kutuya veri koymakla ilgilenecekler. Bu genel bir endişe ama belirli bir metriğimiz yok.
• [K] Hangi şeye hitap ediyoruz? Siloların + nasıl işleneceğine dair düzenlemelerin olduğu bir durumdan mı bahsediyorsunuz - ama bu düşmanca değil, sadece önyargı yaratmak istemiyorsunuz. Vs. birden fazla kurumun, birbirine güvenmeyen tarafların olduğu başka bir durum. Bunlardan birini mi yoksa her ikisini mi düşünüyoruz?
• [B] İkisine de bakmak istiyoruz; şu anda sadece ikincisini düşün.
• [D] örneğin burada silo şirketlerdir ve veri kümeleri her biri tarafından yüklenen verilerdir.
• [K] Serbest yüklemeyle ilgili endişeleri vurguluyorsunuz. Ama aynı zamanda birbirine güvenmeyen taraflar da var. Taraflar, başkalarının/sizin verileri görmesini engellemek istiyor mu? Bu endişeler gergin. Bir yandan saldırıları önlemek için katkıyı doğrulamak isterken, diğer yandan gizlilik için içeriği görmek istemiyor
• [B] 2 yönden bakın. Biri gizliliğin korunmasıdır - DP vb. aracılığıyla. Diğer kısım, model performansı açısından, birçok silonun verilerinden eğitildiğinde, farklı siloların farklı fayda sağladığına dair bir endişe vardır. İlkine yaklaşmanın standart bir yolu olduğunu düşünüyoruz; ikincisi daha zor.
• [K] Modelin iyi performans göstermesi anlamında adalet; diğeri freeloading olabilir. Gizlilik konusunda daha gergin olan ikincisi. Bu konuda endişeli misin?
• [B] Her ikisi de eşit derecede önemlidir. Hem veri gizliliğini korumak hem de faydaları dağıtmanın adil bir yoluna sahip olmak istiyorsunuz.
• [S] Henüz iyi cevaplarımız yok. [K] Aynı.
• [D] Bu şirketler bunu işletmek için Linkedin'e ne kadar güveniyor?
• [S] Güven şu ana kadar bir sorun olmadı, en azından benim bildiğim örneklerde. Bazı kısıtlama taleplerimiz oldu, ancak kesin bir ret olmadı. İnsanlar ortak değer oluşturmamız için verileri paylaşmaya istekli.
• [A] Yalnızca siloların veya siloların içindeki bireylerin mahremiyetiyle ilgili endişeleriniz mi var?
• [S] İkincisi

[D] Bu, Azure'da mı oluşturuluyor? Düşünmemiz gereken diğer dağıtım konuları?

• [S] Eninde sonunda GPU'lar devreye girecek; ilk modeller daha küçük olacak ve daha az ihtiyaç olacak. Sonunda, bu çok sayıda üye ve işletmeyi içerecek → modeller oldukça büyüyecek.
• [D] Bu, herkese açık olanla aynı gök mavisi mi? Veya dışarıdan görünmeyen, hedeflenecek bazı dahili kızılötesi.
• [S] Oldukça standart şeyler.
• [D] İşbirliğini kolaylaştırır, herkes genel Azure üzerinde çalıştırabileceğinden OSS kodunu daha değerli kılar.

[K] Hadi bir şeyler yapalım! Bunlar ne olmalı? Kıyaslama paketinden ve silolar arası platformdan bahsettik. WDYT, halka açık bir PRD'yi ortaya çıkarmak, özellikler ve kullanım durumları hakkında konuşmak hakkında?

• [Z] Ürün özellikleri nasıl görünüyor? TFF'deki küçük bileşenler?
• [k] bileşenlerden veya tff'nin üzerine inşa edilebilecek ve başkalarına açık olabilecek bir üründen bahsediyor olabiliriz.
• [Z] Anlamak istiyorum - bu katkı süreci mi? Ürünle başla?
• [k] işlemi burada yapıyoruz. Kendinizi nerede rahat hissettiğinize bağlı.
• [Z] TFF dışında ama TF'de bu tür ürünlere örnek var mı?
• [K] TF'nin tasarım belgeleri için bir süreci vardır. Bu notları böyle bir şeye dönüştürmeye başlayabiliriz. Örneğin, karşılıklı olarak güvenmeyen, DP gibi teknikleri kullanmak isteyen, Azure üzerinde çalışması gereken silolar
• [D] Kullanım durumları dizinine sahip olmak, bilgi vermeden yararlıdır
• [K] TFF'de zaten var olacak bir yol haritası, belgeler, kullanım örnekleri geliştirmek istiyoruz, birlikte başlayabiliriz. Küçükten başlamak daha kolaysa, elbette bunu yapalım.
• [B] FL'deki zorluklar hakkında çok fazla araştırma görüyorum. Belki bu zorlukların üstesinden gelmek için birkaç araç alabilir ve oradan başlayabiliriz. Örneğin, serbest sürüşe benzer şekilde, veri heterojenliği - federe ortamlarda ortak bir zorluk gibi görünüyor. Araçlar evrensel olarak faydalı olacaktır.
  • [K] Zorlukları değerlendirmek için araçlar? Veya sistemin bileşenleri.
  • [B] TFF'nin sağlayabileceği işlevsellik
  • [K] +1. PRD ile başlamak, özellikler hakkında konuşmak için bağlam sağlar, ancak özellikler hakkında ayrı ayrı da konuşabiliriz. Belki serbest yükleme sorununu tanımlayan ve başa çıkacak araçlara yönelik çalışan bir belge ile başlayabiliriz.
  • [D] Araştırmacılarla da çalışıyoruz. LinkedIn, ürüne ek olarak araştırma çıktıları üretmeyi mi hedefliyor?
  • [Z] Kısa vadede, henüz araştırma için değil.

[K] Birkaç paylaşılan dokümanla başlayabiliriz, bazı özellikleri veya bileşenleri açıklamaya başlayabilir miyiz? Her iki taraf da başlatabilir. Google dokümanlarını ve e-postayı kullanabiliriz. Varsayılan olarak herkese açık olarak izin verir.

[ostroowski] Ne inşa etmek istiyoruz ve hangi somut ilk adımları atabiliriz

• Başka bir toplantıdan daha fazlasını hedefliyor - Kendimiz için yapay zeka mı?
• Birkaç spesifik ürün/proje tanımlamaya başladık.
  • Karşılaştırma paketi
  • DP, adalet, serbest yükleme korumaları ile çapraz silo platformu
• Olası sonraki adımlar
  • Bir ürün gereksinimleri belgesi başlatın ve yukarıdakilerin her biri için açıkça bir araya getirin mi?
  • Tasarım düzeyinde fikir alışverişi yapmaya başlasın mı?
  • Gerçek kalkınma katkıları için potansiyel planlar?
    • Geliştirmek istediğiniz belirli bileşenler / özellikler?
• Oluşturulacak belirli eserler:
  • Serbest yükleme sorununu ve TFF'de bu sorunu çözebilecek bir araç veya özelliğin gereksinimlerini açıklayan paylaşılan belge
  • Eşit olmayan miktarda veri içeren silolar arasında önyargı için karşılaştırma ölçütlerini açıklayan paylaşılan belge, karşılaştırmalı değerlendirmenin ölçmesini istediğimiz şey
  • TFF'nin Azure tabanlı ortamda çalışmasını sağlayacak yeni bir bileşeni tanımlayan paylaşılan belge (hangi katmanla entegre edilmesi gerekeceği TBD)

[ostroowski] Açıkça iletişim kurmak

• Neler herkese açık hale getirilir ( GitHub açılış sayfasında )
• GitHub sayfasında her toplantıdan sonra birkaç gün içinde sunulacak bu ve takip toplantılarındaki tartışmaların ve kararların özeti
• Benzer şekilde GitHub'da yayınlanacak eserlere bağlantılar (oluşturulacak tüm planlar, yol haritaları, tasarım belgeleri vb.)
• Konuşmalar (sohbet?)
  • Gevşek
• Ortak hedefler:
  • Kapsamdaki belirli ürünler / bileşenler?
  • Bunların gelişimini desteklemek için daha spesifik / dar kapsamlı bir çalışma grubu için tüzük?

[B] Küçük, operasyonel sorunlar için ne yapmalı?

• [K] Slack veya GitHub sorunları işe yarayabilir. Sizin için ne verimli olurdu?

[ostrowski] Ortaklaşa taahhüt edebileceğimiz tekrarlanan toplantı programı?

• Aylık