قم بتحديث '*var' وفقًا لخوارزمية RMSProp المركزية.
تستخدم خوارزمية RMSProp المركزية تقديرًا للحظة الثانية المركزية (أي التباين) للتطبيع، على عكس خوارزمية RMSProp العادية، التي تستخدم اللحظة الثانية (غير المركزية). غالبًا ما يساعد هذا في التدريب، ولكنه أكثر تكلفة قليلاً من حيث الحساب والذاكرة.
لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث mg وms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث mg وms وmom في التكرارات التي يكون فيها grad صفرًا.
متوسط مربع = تسوس * متوسط مربع + (1-اضمحلال) * تدرج ** 2 متوسط_جراد = تسوس * متوسط_جراد + (1-تسوس) * تدرج دلتا = معدل التعلم * التدرج / sqrt(mean_square + epsilon - mean_grad ** 2)
مللي ثانية <- رو * ms_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * mom_{t-1} + lr * غراد / sqrt(ms + إبسيلون) فار <- فار - أمي
فئات متداخلة
| فصل | ريسورسسبارسيبابليسينتيردرمسبروب.أوبتيونس | السمات الاختيارية لـ ResourceSparseApplyCenteredRmsProp | |
الثوابت
| خيط | OP_NAME | اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي |
الأساليب العامة
| ثابت <T يمتد TType > ResourceSparseApplyCenteredRmsProp | إنشاء (نطاق النطاق ، المعامل <?> var، المعامل <?> mg، المعامل <?> ms، المعامل <?> أمي، المعامل <T> lr، المعامل <T> rho، المعامل <T> الزخم، المعامل <T > إبسيلون، المعامل <T> غراد، المعامل <؟ يمتد TNumber > الفهارس، الخيارات... الخيارات) طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceSparseApplyCenteredRmsProp جديدة. |
| ثابت ResourceSparseApplyCenteredRmsProp.Options | useLocking (استخدام منطقي منطقي) |
الطرق الموروثة
الثوابت
السلسلة النهائية الثابتة العامة OP_NAME
اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي
الأساليب العامة
إنشاء ResourceSparseApplyCenteredRmsProp الثابت العام (نطاق النطاق ، المعامل <?> var، المعامل <?> mg، المعامل <?> ms، المعامل <?> أمي، المعامل <T> lr، المعامل <T> rho، المعامل <T> الزخم، المعامل <T> إبسيلون، المعامل <T> غراد، المعامل <؟ يمتد TNumber > الفهارس، الخيارات... الخيارات)
طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceSparseApplyCenteredRmsProp جديدة.
حدود
| نِطَاق | النطاق الحالي |
|---|---|
| فار | يجب أن يكون من متغير (). |
| ملغ | يجب أن يكون من متغير (). |
| آنسة | يجب أن يكون من متغير (). |
| أم | يجب أن يكون من متغير (). |
| lr | عامل التحجيم. يجب أن يكون العددية. |
| rho | معدل الاضمحلال. يجب أن يكون العددية. |
| إبسيلون | مصطلح ريدج. يجب أن يكون العددية. |
| خريج | التدرج. |
| المؤشرات | متجه للمؤشرات في البعد الأول لـ var وms وmom. |
| خيارات | يحمل قيم السمات الاختيارية |
عائدات
- مثيل جديد من ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options العام الثابت useLocking (useLocking المنطقي)
حدود
| useLocking | إذا كان "صحيحًا"، فإن تحديث الموترات var وmg وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف. |
|---|
قم بتحديث '*var' وفقًا لخوارزمية RMSProp المركزية.
تستخدم خوارزمية RMSProp المركزية تقديرًا للحظة الثانية المركزية (أي التباين) للتطبيع، على عكس خوارزمية RMSProp العادية، التي تستخدم اللحظة الثانية (غير المركزية). غالبًا ما يساعد هذا في التدريب، ولكنه أكثر تكلفة قليلاً من حيث الحساب والذاكرة.
لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث mg وms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث mg وms وmom في التكرارات التي يكون فيها grad صفرًا.
متوسط مربع = تسوس * متوسط مربع + (1-اضمحلال) * تدرج ** 2 متوسط_جراد = تسوس * متوسط_جراد + (1-تسوس) * تدرج دلتا = معدل التعلم * التدرج / sqrt(mean_square + epsilon - mean_grad ** 2)
مللي ثانية <- رو * ms_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * mom_{t-1} + lr * غراد / sqrt(ms + إبسيلون) فار <- فار - أمي
فئات متداخلة
| فصل | ريسورسسبارسيبابليسينتيردرمسبروب.أوبتيونس | السمات الاختيارية لـ ResourceSparseApplyCenteredRmsProp | |
الثوابت
| خيط | OP_NAME | اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي |
الأساليب العامة
| ثابت <T يمتد TType > ResourceSparseApplyCenteredRmsProp | إنشاء (نطاق النطاق ، المعامل <?> var، المعامل <?> mg، المعامل <?> ms، المعامل <?> أمي، المعامل <T> lr، المعامل <T> rho، المعامل <T> الزخم، المعامل <T > إبسيلون، المعامل <T> غراد، المعامل <؟ يمتد TNumber > الفهارس، الخيارات... الخيارات) طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceSparseApplyCenteredRmsProp جديدة. |
| ثابت ResourceSparseApplyCenteredRmsProp.Options | useLocking (استخدام منطقي منطقي) |
الطرق الموروثة
الثوابت
السلسلة النهائية الثابتة العامة OP_NAME
اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي
الأساليب العامة
إنشاء ResourceSparseApplyCenteredRmsProp الثابت العام (نطاق النطاق ، المعامل <?> var، المعامل <?> mg، المعامل <?> ms، المعامل <?> أمي، المعامل <T> lr، المعامل <T> rho، المعامل <T> الزخم، المعامل <T> إبسيلون، المعامل <T> غراد، المعامل <؟ يمتد TNumber > الفهارس، الخيارات... الخيارات)
طريقة المصنع لإنشاء فئة تلتف حول عملية ResourceSparseApplyCenteredRmsProp جديدة.
حدود
| نِطَاق | النطاق الحالي |
|---|---|
| فار | يجب أن يكون من متغير (). |
| ملغ | يجب أن يكون من متغير (). |
| آنسة | يجب أن يكون من متغير (). |
| أم | يجب أن يكون من متغير (). |
| lr | عامل التحجيم. يجب أن يكون العددية. |
| rho | معدل الاضمحلال. يجب أن يكون العددية. |
| إبسيلون | مصطلح ريدج. يجب أن يكون العددية. |
| خريج | التدرج. |
| المؤشرات | متجه للمؤشرات في البعد الأول لـ var وms وmom. |
| خيارات | يحمل قيم السمات الاختيارية |
عائدات
- مثيل جديد من ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options العام الثابت useLocking (useLocking المنطقي)
حدود
| useLocking | إذا كان "صحيحًا"، فإن تحديث الموترات var وmg وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف. |
|---|