Ghi chú từ cuộc họp 8/11/2022 của các cộng tác viên TFF

Chủ đề chương trình nghị sự được đề xuất: Jeremy Lewi sẽ trình bày các ý tưởng dựa trên TFF của mình cho các thành phần mới có thể được xây dựng
[JL] Tập trung vào các tình huống phân tích liên kết đơn giản, kết nối TFF với Google trang tính để thực hiện tính trung bình được nạp đơn giản. Làm việc trong Kubernetes, đọc từ trang tính.
[JL] Một thách thức là hiện tại công nhân được yêu cầu phải có điểm thâm nhập.
- Điều này thường không xảy ra, vì vậy cần một lớp truyền tải cho phép thiết lập kết nối theo hướng ngược lại, các công nhân gọi một máy chủ.
- Thành phần như vậy hiện không có trong hệ sinh thái.
[BC] Cũng thấy sự cần thiết của việc này. Hiện đang sử dụng TFF theo cách hạn chế, đám mây nội bộ, nơi khách hàng tải dữ liệu lên. Tuy nhiên, sẽ cần một cái gì đó giống như JL được mô tả ở trên để chuyển sang cài đặt nhiều trung tâm dữ liệu.
[JL] Nghĩ về một lớp có thể cho phép nhân viên “kéo” các mục công việc từ hàng đợi trên máy chủ - nếu nó thay thế thời gian chạy hiện có.
[KO] Không cần phải nghĩ đến điều này về mặt "thay thế" - bạn có thể giữ nguyên tác giả tính toán và 98% thời gian chạy và bạn chỉ cần hoán đổi thành phần mới hoạt động theo cách bạn đề xuất tắt trình thực thi từ xa như một cơ chế để chuyển tiếp các yêu cầu của trình thực thi từ trên xuống.
[BC] Bạn có cần nó không đồng bộ hóa hay nó hoạt động trong mô hình đồng bộ hóa hiện có.
[BC] Ngoài ra, một số nền tảng hiện đang sử dụng cách tiếp cận "hàng đợi nhiệm vụ", vì vậy điều này nghe có vẻ giống như một ý tưởng đã được thiết lập.
[BC] Việc giới thiệu thời gian chờ có lẽ cũng sẽ giúp thu hẹp khoảng cách (để đối phó với những người làm việc chậm chạp hoặc những người đi lạc đường).
[KO] Đối với đồng bộ hóa so với không đồng bộ, chúng tôi có các bản tóm tắt chung trong TFF yêu cầu khái niệm về "nhóm thuần tập". Do đó, cần phải có thời điểm khi một số khách hàng ngoài đó quyết định cùng nhau tham gia một “nhóm thuần tập” và máy chủ sẽ cần đóng vai trò điều phối điều này xảy ra. Khi điều đó được thực hiện, cách thức mà các yêu cầu của người thực thi cá nhân được chuyển tiếp đến các máy khách sau đó có thể khác nhau. Trình thực thi từ xa gọi từ trên xuống là một cách để thực hiện nó, nhưng không phải là cách duy nhất; một mô hình giao tiếp dựa trên các hạng mục công việc như những gì được đề xuất ở trên chắc chắn cũng có thể phù hợp với cấu trúc này. Có vẻ như tài liệu cho một đề xuất nhỏ một-hai máy nhắn tin cho ai đó soạn thảo?
[JL] Tình nguyện viết ra một đề xuất cho một thành phần mới để tất cả chúng ta lặp lại.
[JL] BTW, có các kho lưu trữ liền kề khác có chức năng liên quan không?
[KO] FYI, https://github.com/google/federated-compute cũng từ Google, nhưng điều đó chủ yếu tập trung vào kịch bản di động, nó không được kết nối với TFF tại thời điểm này và không chứa chức năng bạn đang mô tả ở đây, vì vậy chắc chắn bạn nên thử và lập một đề xuất nhỏ trong nhóm này.
[BD] Một số câu hỏi cần giải quyết: kết quả vào bộ nhớ đệm, thời điểm tổng hợp.
[Hao] Có lẽ không cần bộ nhớ đệm trong trường hợp này nếu nó không phải là không đồng bộ
[KO] Đối với các trường hợp phù hợp với mẫu MapReduce đơn giản, chúng tôi có một số hỗ trợ trong TFF, hãy xem https://www.tensorflow.org/federated/api _docs/ python/tff/ backends/ mapreduce. Thư viện này cho phép bạn dịch các phép tính TFF sang dạng giống như MapReduce mà bạn có thể thực thi trên một nền tảng đơn giản hơn. Tuy nhiên, có một số mất mát trong khả năng diễn đạt và một số ý tưởng đã thảo luận trước đó yêu cầu nhiều vòng giao tiếp qua lại giữa sevrr và khách hàng sẽ không thể diễn đạt được trong khuôn khổ này. Và, thiết lập cross-silo giúp những loại ý tưởng đó trở nên khả thi vì chúng tôi đang xử lý các nhóm khách hàng được cung cấp tốt (silo) có thể duy trì kết nối lâu dài.
[Hao] Còn về các hoạt động tập thể, allreduce - là những hoạt động được hỗ trợ hoặc tương thích
[KO] Hiện tại thì không. Allreduce sẽ có phần sử dụng hạn chế, trong khi nó có thể được tận dụng trong một kịch bản trung bình được cấp dữ liệu duy nhất, nó giả định rằng không có công việc nào đang xảy ra trên máy chủ giữa các vòng xử lý. Sẽ không hoạt động trong các trường hợp chung hơn. Nhưng, có hai nửa của nó - chế độ phát sóng hiệu quả và chế độ tổng hợp hiệu quả, có lẽ ngay cả với tăng tốc phần cứng, sẽ là thứ chúng ta có thể tận dụng trong TFF.
[KO] Có vẻ như JL chuẩn bị khởi động bản thảo đề xuất cho một thành phần mới và những người khác có ý kiến về những gì nên có trong đó - hãy cộng tác (+1 từ tất cả mọi người trong phòng). 2 tuần nữa sẽ triệu tập lại, có thể có bản thảo để thảo luận.