CrossReplicaSum

lớp cuối cùng công khai CrossReplicaSum

Op để tính tổng đầu vào trên các phiên bản TPU được sao chép.

Mỗi phiên bản cung cấp đầu vào riêng của nó.

Ví dụ: giả sử có 8 phiên bản TPU: `[A, B, C, D, E, F, G, H]`. Truyền group_signment=`[[0,2,4,6],[1,3,5,7]]` đặt `A, C, E, G` là nhóm 0 và `B, D, F, H` như nhóm 1. Do đó, chúng ta nhận được kết quả đầu ra: `[A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+ G, B+D+F+H, A+C+E+G, B+D+F+H]`.

Hằng số

Sợi dây OP_NAME Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Phương pháp công khai

Đầu ra <T>
asOutput ()
Trả về tay cầm tượng trưng của tensor.
tĩnh <T mở rộng TNumber > CrossReplicaSum <T>
tạo (Phạm vi phạm vi , đầu vào Toán hạng <T>, Toán hạng < TInt32 > phân công nhóm)
Phương thức gốc để tạo một lớp bao bọc một hoạt động CrossReplicaSum mới.
Đầu ra <T>
đầu ra ()
Tổng của tất cả các đầu vào được phân phối.

Phương pháp kế thừa

Hằng số

Chuỗi cuối cùng tĩnh công khai OP_NAME

Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Giá trị không đổi: "CrossReplicaSum"

Phương pháp công khai

Đầu ra công khai <T> asOutput ()

Trả về tay cầm tượng trưng của tensor.

Đầu vào của các hoạt động TensorFlow là đầu ra của một hoạt động TensorFlow khác. Phương pháp này được sử dụng để thu được một thẻ điều khiển mang tính biểu tượng đại diện cho việc tính toán đầu vào.

công khai CrossReplicaSum <T> tạo ( Phạm vi phạm vi , đầu vào Toán hạng <T>, Toán hạng < TInt32 > phân công nhóm)

Phương thức gốc để tạo một lớp bao bọc một hoạt động CrossReplicaSum mới.

Thông số
phạm vi phạm vi hiện tại
đầu vào Đầu vào cục bộ của tổng.
nhómBài tập Một tensor int32 có hình dạng [num_groups, num_replicas_per_group]. `group_signment[i]` đại diện cho các id bản sao trong nhóm con thứ i.
Trả lại
  • một phiên bản mới của CrossReplicaSum

Đầu ra công khai đầu ra <T> ()

Tổng của tất cả các đầu vào được phân phối.