lớp cuối cùng công khai XlaSendTPUEmbeddingGradients
Một op thực hiện cập nhật độ dốc của các bảng nhúng.
Đối số gradient là một TensorList có cùng độ dài và hình dạng với giá trị trả về của XlaRecvTPUEmbeddingActivations, nhưng chứa gradient về sự mất mát của mô hình đối với các kích hoạt nhúng. Các bảng nhúng được cập nhật từ các gradient này thông qua trình tối ưu hóa được chỉ định trong giao thức TPUEmbeddingConfiguration được cung cấp cho tpu.initialize_system.
Phương pháp công cộng
| XlaSendTPUEembeddingGradients tĩnh |
Phương pháp kế thừa
Phương pháp công cộng
public static XlaSendTPUEmbeddingGradients tạo ( Phạm vi phạm vi, Iterable< Operand <Float>> gradients, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)
Phương thức xuất xưởng để tạo một lớp bao bọc hoạt động XlaSendTPUEmbeddingGradients mới.
Thông số
| phạm vi | phạm vi hiện tại |
|---|---|
| Độ dốc | Một TensorList gồm các gradient dùng để cập nhật các bảng nhúng. |
| tỷ lệ học tập | Một TensorDanh sách tốc độ học tập được sử dụng để cập nhật các bảng nhúng thông qua trình tối ưu hóa. Độ dài của TensorList phải bằng số thẻ tốc độ học động được chỉ định trong nguyên mẫu TPUEmbeddingConfiguration. |
| chống trùng lặp dữ liệu | Một Tensor có type=DT_VARIANT chứa dữ liệu chống trùng lặp. Tensor là một bộ dữ liệu lồng nhau XLA chứa N phần tử (trong đó N là tỷ lệ của số lần nhúng vào lõi tensor trên mỗi chip TPU). Mỗi phần tử của bộ dữ liệu lồng nhau là một bộ tenxơ hạng 1. Mỗi tensor chứa các chỉ số (DT_UINT32) để nhúng tra cứu trên TensorCore hoặc chứa các trọng số (DT_FLOAT) để áp dụng cho đầu ra của thao tác tra cứu nhúng. |
| cấu hình | Proto Cấu hình TPUEmbedding được tuần tự hóa. |
Trả lại
- một phiên bản mới của XlaSendTPUEmbeddingGradients