الفئة النهائية العامة XlaSendTPUEmbeddingGradients
عملية تقوم بإجراء تحديثات متدرجة لجداول التضمين.
وسيطة التدرجات هي TensorList لها نفس الطول والأشكال مثل القيمة المرجعة لـ XlaRecvTPUEmbeddingActivations، ولكنها تحتوي على تدرجات لفقد النموذج فيما يتعلق بعمليات تنشيط التضمين. يتم تحديث جداول التضمين من هذه التدرجات عبر المحسن المحدد في نموذج TPUEmbeddingConfiguration المعطى لـ tpu.initialize_system.
الأساليب العامة
| ثابت XlaSendTPUEmbeddingGradients |
الطرق الموروثة
الأساليب العامة
إنشاء XlaSendTPUEmbeddingGradients العام الثابت ( نطاق النطاق، Iterable< Operand <Float>> التدرجات، Iterable< Operand <Float>> LearningRates، Operand <?> deduplicationData، String config)
طريقة المصنع لإنشاء فئة تغلف عملية XlaSendTPUEmbeddingGradients جديدة.
حدود
| نِطَاق | النطاق الحالي |
|---|---|
| التدرجات | قائمة TensorList للتدرجات التي يمكن من خلالها تحديث جداول التضمين. |
| LearningRates | قائمة TensorList لمعدلات التعلم المستخدمة لتحديث جداول التضمين عبر المحسن. يجب أن يكون طول TensorList مساويًا لعدد علامات معدل التعلم الديناميكي المحددة في النموذج الأولي لـ TPUEmbeddingConfiguration. |
| deduplicationData | موتر بنوع = DT_VARIANT يحتوي على بيانات إلغاء البيانات المكررة. الموتر عبارة عن صف متداخل XLA يحتوي على عناصر N (حيث N هي نسبة عدد التضمين إلى نوى الموتر لكل شريحة TPU). كل عنصر من عناصر الصف المتداخل عبارة عن صف من الموترات من الرتبة الأولى. يحتوي كل موتر إما على مؤشرات (DT_UINT32) لتضمين البحث في TensorCore أو أوزان (DT_FLOAT) لتطبيقها على مخرجات عملية بحث التضمين. |
| التكوين | نموذج متسلسل لتكوين TPUEmbedding. |
عائدات
- مثيل جديد لـ XlaSendTPUEmbeddingGradients