Adam

کلاس عمومی آدم

بهینه ساز که الگوریتم Adam را پیاده سازی می کند.

بهینه‌سازی آدام یک روش نزولی گرادیان تصادفی است که مبتنی بر تخمین تطبیقی ​​گشتاورهای مرتبه اول و دوم است.

طبق گفته کینگما و همکاران، 2014، این روش "از نظر محاسباتی کارآمد است، نیاز به حافظه کمی دارد، نسبت به مقیاس مجدد مورب گرادیان ها ثابت است، و برای مسائلی که از نظر داده/پارامترها بزرگ هستند، مناسب است".

کینگما و همکاران، 2014، آدام: روشی برای بهینه‌سازی تصادفی را ببینید.

ثابت ها

شناور BETA_ONE_DEFAULT
شناور BETA_TWO_DEFAULT
شناور EPSILON_DEFAULT
رشته FIRST_MOMENT
شناور LEARNING_RATE_DEFAULT
رشته SECOND_MOMENT

ثابت های ارثی

سازندگان عمومی

آدم ( گراف نمودار)
یک بهینه ساز Adam ایجاد می کند
آدام ( گراف نمودار، نرخ یادگیری شناور)
یک بهینه ساز Adam ایجاد می کند
Adam ( گراف نمودار، نرخ یادگیری شناور، بتای شناور، بتای شناور، اپسیلون شناور)
یک بهینه ساز Adam ایجاد می کند
Adam ( گراف نمودار، نام رشته، نرخ یادگیری شناور)
یک بهینه ساز Adam ایجاد می کند
Adam ( گراف نمودار، نام رشته، نرخ یادگیری شناور، float betaOne، float betaTwo، float epsilon)
یک بهینه ساز Adam ایجاد می کند

روش های عمومی

static <T گسترش TType > Op
createAdamMinimize ( دامنه دامنه ، عملوند <T> از دست دادن، نرخ یادگیری شناور، float betaOne، float betaTwo، اپسیلون شناور، گزینه‌ها... گزینه‌ها)
عملیاتی را ایجاد می کند که ضرر را به حداقل می رساند
رشته
getOptimizerName ()
نام بهینه ساز را دریافت کنید.
رشته

روش های ارثی

ثابت ها

شناور نهایی استاتیک عمومی BETA_ONE_DEFAULT

مقدار ثابت: 0.9

شناور نهایی ثابت عمومی BETA_TWO_DEFAULT

مقدار ثابت: 0.999

شناور نهایی استاتیک عمومی EPSILON_DEFAULT

مقدار ثابت: 1.0E-8

رشته نهایی ثابت عمومی FIRST_MOMENT

مقدار ثابت: "m"

شناور نهایی ثابت عمومی LEARNING_RATE_DEFAULT

مقدار ثابت: 0.001

رشته نهایی ثابت عمومی SECOND_MOMENT

مقدار ثابت: "v"

سازندگان عمومی

عمومی آدام ( گراف نمودار )

یک بهینه ساز Adam ایجاد می کند

مولفه های
نمودار نمودار TensorFlow

عمومی آدام ( گراف نمودار، نرخ یادگیری شناور)

یک بهینه ساز Adam ایجاد می کند

مولفه های
نمودار نمودار TensorFlow
نرخ یادگیری میزان یادگیری

عمومی آدام ( گراف نمودار، نرخ یادگیری شناور، شناور betaOne، float betaTwo، اپسیلون شناور)

یک بهینه ساز Adam ایجاد می کند

مولفه های
نمودار نمودار TensorFlow
نرخ یادگیری میزان یادگیری
betaOne نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند. پیش‌فرض 0.9 است.
betaTwo نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند. پیش‌فرض 0.999 است.
اپسیلون یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله. پیش‌فرض 1e-8 است.

عمومی Adam ( گراف نمودار، نام رشته، نرخ یادگیری شناور)

یک بهینه ساز Adam ایجاد می کند

مولفه های
نمودار نمودار TensorFlow
نام نام بهینه ساز، پیش فرض روی "آدام" است
نرخ یادگیری میزان یادگیری

عمومی آدام ( گراف نمودار، نام رشته، نرخ یادگیری شناور، بتای شناور، بتای شناور، دو، اپسیلون شناور)

یک بهینه ساز Adam ایجاد می کند

مولفه های
نمودار نمودار TensorFlow
نام نام بهینه ساز، پیش فرض روی "آدام" است
نرخ یادگیری میزان یادگیری
betaOne نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند. پیش‌فرض 0.9 است.
betaTwo نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند. پیش‌فرض 0.999 است.
اپسیلون یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله. پیش‌فرض 1e-8 است.

روش های عمومی

عمومی static Op createAdamMinimize ( دامنه دامنه ، عملوند <T> از دست دادن، نرخ یادگیری شناور، شناور betaOne، float betaTwo، اپسیلون شناور، گزینه‌ها... گزینه‌ها)

عملیاتی را ایجاد می کند که ضرر را به حداقل می رساند

مولفه های
محدوده محدوده TensorFlow
ضرر - زیان ضرر برای به حداقل رساندن
نرخ یادگیری میزان یادگیری
betaOne نرخ فروپاشی نمایی برای لحظه 1 تخمین می زند.
betaTwo نرخ فروپاشی نمایی برای لحظه دوم تخمین می زند.
اپسیلون یک ثابت کوچک برای ثبات عددی. این اپسیلون در مقاله Kingma و Ba (در فرمول درست قبل از بخش 2.1) "کلاه اپسیلون" است، نه اپسیلون در الگوریتم 1 مقاله.
گزینه ها ویژگی های اختیاری Optimizer
برمی گرداند
  • عملیاتی که ضرر را به حداقل می رساند
پرتاب می کند
IllegalArgumentException اگر scope یک نمودار را نشان ندهد

رشته عمومی getOptimizerName ()

نام بهینه ساز را دریافت کنید.

برمی گرداند
  • نام بهینه ساز

رشته عمومی toString ()