Adam

공개 수업 아담

Adam 알고리즘을 구현하는 최적화 프로그램입니다.

Adam 최적화는 1차 및 2차 모멘트의 적응형 추정을 기반으로 하는 확률적 경사하강법 방법입니다.

Kingma et al., 2014에 따르면 이 방법은 "계산적으로 효율적이고, 메모리 요구 사항이 거의 없으며, 기울기의 대각선 재조정에 불변하며, 데이터/매개 변수 측면에서 큰 문제에 매우 적합합니다."

@Kingma et al., 2014, Adam: 확률론적 최적화 방법을 참조 하세요.

상수

뜨다 BETA_ONE_DEFAULT
뜨다 BETA_TWO_DEFAULT
뜨다 EPSILON_DEFAULT
끈 FIRST_MOMENT
뜨다 LEARNING_RATE_DEFAULT
끈 SECOND_MOMENT

상속된 상수

org.tensorflow.framework.optimizers.Optimizer 클래스에서

공공 생성자

Adam ( 그래프 그래프 )
Adam 최적화 프로그램을 생성합니다.
Adam ( 그래프 그래프, float learningRate)
Adam 최적화 프로그램을 생성합니다.
Adam ( 그래프 그래프, float learningRate, float betaOne, float betaTwo, float 엡실론)
Adam 최적화 프로그램을 생성합니다.
Adam ( 그래프 그래프, 문자열 이름, float learningRate)
Adam 최적화 프로그램을 생성합니다.
Adam ( 그래프 그래프, 문자열 이름, float learningRate, float betaOne, float betaTwo, float epsilon)
Adam 최적화 프로그램을 생성합니다.

공개 방법

static <T는 TType을 확장합니다. > Op
createAdamMinimize ( 범위 범위, 피연산자 <T> 손실, 부동 학습률, 부동 베타원, 부동 베타Two, 부동 엡실론, 옵션... 옵션)
손실을 최소화하는 Operation을 만듭니다.
끈
getOptimizerName ()
최적화 프로그램의 이름을 가져옵니다.
끈
toString ()

상속된 메서드

org.tensorflow.framework.optimizers.Optimizer 클래스에서
작전
applyGradients (List< GradAndVar <? 확장 TType >> gradsAndVars, 문자열 이름)
변수에 그라데이션을 적용합니다.
<T는 TType을 확장합니다. > List< GradAndVar <?>>
ComputeGradients ( 피연산자 <?> 손실)
손실 피연산자를 기반으로 기울기를 계산합니다.
정적 문자열
createName ( 출력 <? 확장 TType > 변수, 문자열 슬롯 이름)
변수명과 슬롯명을 조합하여 이름을 생성합니다.
추상 문자열
getOptimizerName ()
최적화 프로그램의 이름을 가져옵니다.
<T는 TType을 확장합니다. > 선택 사항< 변수 <T>>
getSlot ( 출력 <T> var, 문자열 슬롯 이름)
지정된 변수 및 슬롯 이름과 연관된 슬롯을 가져옵니다.
최종 작전
getTF ()
Optimizer의 Ops 인스턴스를 가져옵니다.
작전
최소화 ( 피연산자 <?> 손실)
변수를 업데이트하여 손실을 최소화합니다.
작전
최소화 ( 피연산자 <?> 손실, 문자열 이름)
변수를 업데이트하여 손실을 최소화합니다.
부울
같음 (개체 arg0)
마지막 수업<?>
getClass ()
정수
해시 코드 ()
최종 무효
알림 ()
최종 무효
통지모두 ()
끈
toString ()
최종 무효
대기 (long arg0, int arg1)
최종 무효
기다리세요 (긴 arg0)
최종 무효
기다리다 ()

상수

공개 정적 최종 부동 소수점 BETA_ONE_DEFAULT

상수값: 0.9

공개 정적 최종 부동 소수점 BETA_TWO_DEFAULT

상수값: 0.999

공개 정적 최종 부동 EPSILON_DEFAULT

상수값: 1.0E-8

공개 정적 최종 문자열 FIRST_MOMENT

상수값: "m"

공개 정적 최종 부동 소수점 LEARNING_RATE_DEFAULT

상수값: 0.001

공개 정적 최종 문자열 SECOND_MOMENT

상수 값: "v"

공공 생성자

공개 Adam ( 그래프 그래프 )

Adam 최적화 프로그램을 생성합니다.

매개변수
그래프 TensorFlow 그래프

공개 Adam ( 그래프 그래프, float learningRate)

Adam 최적화 프로그램을 생성합니다.

매개변수
그래프 TensorFlow 그래프
학습률 학습률

공개 Adam ( 그래프 그래프, float learningRate, float betaOne, float betaTwo, float 엡실론)

Adam 최적화 프로그램을 생성합니다.

매개변수
그래프 TensorFlow 그래프
학습률 학습률
베타원 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다. 기본값은 0.9입니다.
베타2 두 번째 순간 추정에 대한 지수적 감쇠율입니다. 기본값은 0.999입니다.
엡실론 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다. 기본값은 1e-8입니다.

public Adam ( 그래프 그래프, 문자열 이름, float learningRate)

Adam 최적화 프로그램을 생성합니다.

매개변수
그래프 TensorFlow 그래프
이름 최적화 프로그램 이름, 기본값은 "Adam"
학습률 학습률

public Adam ( 그래프 그래프, 문자열 이름, float learningRate, float betaOne, float betaTwo, float 엡실론)

Adam 최적화 프로그램을 생성합니다.

매개변수
그래프 TensorFlow 그래프
이름 최적화 프로그램 이름, 기본값은 "Adam"
학습률 학습률
베타원 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다. 기본값은 0.9입니다.
베타2 두 번째 순간 추정에 대한 지수적 감쇠율입니다. 기본값은 0.999입니다.
엡실론 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다. 기본값은 1e-8입니다.

공개 방법

공개 정적 Op createAdamMinimize ( 범위 범위, 피연산자 <T> 손실, 부동 학습률, 부동 베타원, 부동 베타Two, 부동 엡실론, 옵션... 옵션)

손실을 최소화하는 Operation을 만듭니다.

매개변수
범위 TensorFlow 범위
손실 최소화해야 할 손실
학습률 학습률
베타원 첫 번째 순간 추정치에 대한 지수적 감쇠율입니다.
베타2 두 번째 순간 추정에 대한 지수적 감쇠율입니다.
엡실론 수치적 안정성을 위한 작은 상수입니다. 이 엡실론은 논문의 알고리즘 1에 있는 엡실론이 아니라 Kingma 및 Ba 논문(섹션 2.1 바로 앞의 공식)에서 "엡실론 모자"입니다.
옵션 선택적 최적화 속성
보고
  • 손실을 최소화하는 수술
던지기
IllegalArgumentException 범위가 그래프를 나타내지 않는 경우

공개 문자열 getOptimizerName ()

최적화 프로그램의 이름을 가져옵니다.

보고
  • 최적화 프로그램 이름입니다.

공개 문자열 toString ()