공개 수업 아담
Adam 알고리즘을 구현하는 최적화 프로그램입니다.
Adam 최적화는 1차 및 2차 모멘트의 적응형 추정을 기반으로 하는 확률적 경사하강법 방법입니다.
Kingma et al., 2014에 따르면 이 방법은 "계산적으로 효율적이고, 메모리 요구 사항이 거의 없으며, 기울기의 대각선 재조정에 불변하며, 데이터/매개 변수 측면에서 큰 문제에 매우 적합합니다."
상수
| 뜨다 | BETA_ONE_DEFAULT | |
| 뜨다 | BETA_TWO_DEFAULT | |
| 뜨다 | EPSILON_DEFAULT | |
| 끈 | FIRST_MOMENT | |
| 뜨다 | LEARNING_RATE_DEFAULT | |
| 끈 | SECOND_MOMENT |
상속된 상수
공공 생성자
공개 방법
| static <T는 TType을 확장합니다. > Op | createAdamMinimize ( 범위 범위, 피연산자 <T> 손실, 부동 학습률, 부동 베타원, 부동 베타Two, 부동 엡실론, 옵션... 옵션) 손실을 최소화하는 Operation을 만듭니다. |
| 끈 | getOptimizerName () 최적화 프로그램의 이름을 가져옵니다. |
| 끈 | toString () |
상속된 메서드
상수
공개 정적 최종 부동 소수점 BETA_ONE_DEFAULT
상수값: 0.9
공개 정적 최종 부동 소수점 BETA_TWO_DEFAULT
상수값: 0.999
공개 정적 최종 부동 EPSILON_DEFAULT
상수값: 1.0E-8
공개 정적 최종 문자열 FIRST_MOMENT
상수값: "m"
공개 정적 최종 부동 소수점 LEARNING_RATE_DEFAULT
상수값: 0.001
공개 정적 최종 문자열 SECOND_MOMENT
상수 값: "v"
공공 생성자
공개 Adam ( 그래프 그래프, float learningRate, float betaOne, float betaTwo, float 엡실론)
Adam 최적화 프로그램을 생성합니다.
매개변수
| 그래프 | TensorFlow 그래프 |
|---|---|
| 학습률 | 학습률 |
| 베타원 | 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다. 기본값은 0.9입니다. |
| 베타2 | 두 번째 순간 추정에 대한 지수적 감쇠율입니다. 기본값은 0.999입니다. |
| 엡실론 | 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다. 기본값은 1e-8입니다. |
public Adam ( 그래프 그래프, 문자열 이름, float learningRate)
Adam 최적화 프로그램을 생성합니다.
매개변수
| 그래프 | TensorFlow 그래프 |
|---|---|
| 이름 | 최적화 프로그램 이름, 기본값은 "Adam" |
| 학습률 | 학습률 |
public Adam ( 그래프 그래프, 문자열 이름, float learningRate, float betaOne, float betaTwo, float 엡실론)
Adam 최적화 프로그램을 생성합니다.
매개변수
| 그래프 | TensorFlow 그래프 |
|---|---|
| 이름 | 최적화 프로그램 이름, 기본값은 "Adam" |
| 학습률 | 학습률 |
| 베타원 | 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다. 기본값은 0.9입니다. |
| 베타2 | 두 번째 순간 추정에 대한 지수적 감쇠율입니다. 기본값은 0.999입니다. |
| 엡실론 | 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다. 기본값은 1e-8입니다. |
공개 방법
공개 정적 Op createAdamMinimize ( 범위 범위, 피연산자 <T> 손실, 부동 학습률, 부동 베타원, 부동 베타Two, 부동 엡실론, 옵션... 옵션)
손실을 최소화하는 Operation을 만듭니다.
매개변수
| 범위 | TensorFlow 범위 |
|---|---|
| 손실 | 최소화해야 할 손실 |
| 학습률 | 학습률 |
| 베타원 | 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다. |
| 베타2 | 두 번째 순간 추정에 대한 지수적 감쇠율입니다. |
| 엡실론 | 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다. |
| 옵션 | 선택적 최적화 속성 |
보고
- 손실을 최소화하는 수술
던지기
| IllegalArgumentException | 범위가 그래프를 나타내지 않는 경우 |
|---|
공개 문자열 getOptimizerName ()
최적화 프로그램의 이름을 가져옵니다.
보고
- 최적화 프로그램 이름입니다.