classe pública Adam
Otimizador que implementa o algoritmo de Adam.
A otimização de Adam é um método de descida gradiente estocástico baseado na estimativa adaptativa de momentos de primeira e segunda ordem.
De acordo com Kingma et al., 2014, o método é "computacionalmente eficiente, tem poucos requisitos de memória, invariante para redimensionamento diagonal de gradientes e é adequado para problemas que são grandes em termos de dados / parâmetros".
@see Kingma et al., 2014, Adam: A Method for Stochastic Optimization .
Constantes
| flutuador | BETA_ONE_DEFAULT | |
| flutuador | BETA_TWO_DEFAULT | |
| flutuador | EPSILON_DEFAULT | |
| Fragmento | FIRST_MOMENT | |
| flutuador | LEARNING_RATE_DEFAULT | |
| Fragmento | SECOND_MOMENT |
Constantes herdadas
Construtores Públicos
Métodos Públicos
| static <T extends TType > Op | createAdamMinimize ( Escopo de escopo, perda de operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, opções ... opções) Cria a operação que minimiza a perda |
| Fragmento | getOptimizerName () Obtenha o nome do otimizador. |
| Fragmento | toString () |
Métodos herdados
Constantes
flutuante público estático final BETA_ONE_DEFAULT
Valor constante: 0,9
flutuante público estático final BETA_TWO_DEFAULT
Valor constante: 0,999
flutuante público estático final EPSILON_DEFAULT
Valor constante: 1.0E-8
public static final String FIRST_MOMENT
Valor constante: "m"
flutuante público estático final LEARNING_RATE_DEFAULT
Valor constante: 0,001
public static final String SECOND_MOMENT
Valor constante: "v"
Construtores Públicos
public Adam ( gráfico gráfico, float learningRate)
Cria um otimizador Adam
Parâmetros
| gráfico | o gráfico TensorFlow |
|---|---|
| taxa de Aprendizagem | a taxa de aprendizagem |
public Adam ( gráfico gráfico, float learningRate, float betaOne, float betaTwo, float epsilon)
Cria um otimizador Adam
Parâmetros
| gráfico | o gráfico TensorFlow |
|---|---|
| taxa de Aprendizagem | a taxa de aprendizagem |
| betaOne | A taxa de decaimento exponencial para as estimativas do primeiro momento. O padrão é 0,9. |
| betaTwo | A taxa de decaimento exponencial para as estimativas do segundo momento. O padrão é 0,999. |
| épsilon | Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo. O padrão é 1e-8. |
public Adam ( gráfico gráfico, nome da string, float learningRate)
Cria um otimizador Adam
Parâmetros
| gráfico | o gráfico TensorFlow |
|---|---|
| nome | o nome do Otimizador, o padrão é "Adam" |
| taxa de Aprendizagem | a taxa de aprendizagem |
public Adam ( gráfico gráfico, nome da string, float learningRate, float betaOne, float betaTwo, float epsilon)
Cria um otimizador Adam
Parâmetros
| gráfico | o gráfico TensorFlow |
|---|---|
| nome | o nome do Otimizador, o padrão é "Adam" |
| taxa de Aprendizagem | a taxa de aprendizagem |
| betaOne | A taxa de decaimento exponencial para as estimativas do primeiro momento. O padrão é 0,9. |
| betaTwo | A taxa de decaimento exponencial para as estimativas do segundo momento. O padrão é 0,999. |
| épsilon | Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo. O padrão é 1e-8. |
Métodos Públicos
public static Op createAdamMinimize ( Escopo de escopo, perda de operando <T>, float learningRate, float betaOne, float betaTwo, float epsilon, opções ... opções)
Cria a operação que minimiza a perda
Parâmetros
| alcance | o escopo do TensorFlow |
|---|---|
| perda | a perda para minimizar |
| taxa de Aprendizagem | a taxa de aprendizagem |
| betaOne | A taxa de decaimento exponencial para as estimativas do primeiro momento. |
| betaTwo | A taxa de decaimento exponencial para as estimativas do segundo momento. |
| épsilon | Uma pequena constante para estabilidade numérica. Este épsilon é "chapéu épsilon" no artigo Kingma e Ba (na fórmula logo antes da Seção 2.1), não o épsilon no Algoritmo 1 do artigo. |
| opções | Atributos opcionais do otimizador |
Devoluções
- a operação que minimiza a perda
Lança
| Exceção de argumento ilegal | se o escopo não representa um gráfico |
|---|
public String getOptimizerName ()
Obtenha o nome do otimizador.
Devoluções
- O nome do otimizador.