Dataset

conjunto de dados de classe abstrata pública
Subclasses diretas conhecidas

Representa uma lista potencialmente grande de elementos independentes (amostras) e permite que a iteração e as transformações sejam realizadas entre esses elementos.

Construtores Públicos

Conjunto de dados (Ops tf, Operand <?> Variant , List <Class <? Extends TType >> outputTypes, List < Shape > outputShapes)

Métodos Públicos

conjunto de dados final
batch (long batchSize, boolean dropLastBatch)
Agrupa elementos deste conjunto de dados em lotes.
conjunto de dados final
lote (long batchSize)
Agrupa elementos deste conjunto de dados em lotes.
Conjunto de dados estático
fromTensorSlices (Ops tf, List < Operand <? >> tensores, List <Class <? extends TType >> outputTypes)
Cria um `Dataset` na memória cujos elementos são fatias dos tensores fornecidos.
Ops
Lista < Forma >
getOutputShapes ()
Obtenha uma lista de formas para cada componente deste conjunto de dados.
Listar <Classe <? estende TType >>
getOutputTypes ()
Obtenha uma lista de tipos de saída para cada componente deste conjunto de dados.
Operando <?>
getVariant ()
Obtenha o tensor variante que representa este conjunto de dados.
Iterador <Lista < Operando <? >>>
iterador ()
Cria um iterador que itera por todos os lotes deste conjunto de dados de maneira rápida.
DatasetIterator
makeInitializeableIterator ()
Cria um `DatasetIterator` que pode ser usado para iterar sobre os elementos deste conjunto de dados.
DatasetIterator
makeOneShotIterator ()
Cria um `DatasetIterator` que pode ser usado para iterar sobre os elementos deste conjunto de dados.
Conjunto de Dados
map (Função <List < Operand <? >>, List < Operand <? >>> mapeador)
Retorna um novo conjunto de dados que mapeia uma função sobre todos os elementos retornados por este conjunto de dados.
Conjunto de Dados
mapAllComponents (Função < Operando <?>, Operando <? >> mapeador)
Retorna um novo conjunto de dados que mapeia uma função em todos os elementos desse conjunto de dados, em todos os componentes de cada elemento.
Conjunto de Dados
mapOneComponent (int índice, Função < Operando <?>, Operando <? >> mapeador)
Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em um único componente de cada elemento.
conjunto de dados final
pular (contagem longa)
Retorna um novo `Dataset` que ignora os elementos iniciais` count` deste conjunto de dados
conjunto de dados final
levar (longa contagem)
Retorna um novo `Dataset` com apenas os primeiros elementos` count` deste dataset.
Conjunto de dados estático
textLineDataset (Ops tf, String filename, String compressionType, long bufferSize)
Conjunto de dados estático
tfRecordDataset (Ops tf, String nome do arquivo, String compressionType, long bufferSize)
Fragmento

Métodos herdados

Construtores Públicos

Conjunto de dados público (Ops tf, Operand <?> variant, List <Class <? extends TType >> outputTypes, List < Shape > outputShapes)

Métodos Públicos

lote final público do conjunto de dados (long batchSize, boolean dropLastBatch)

Agrupa elementos deste conjunto de dados em lotes.

Parâmetros
tamanho do batch O número de elementos desejados por lote
dropLastBatch Se deve ser omitido o lote final se ele tiver menos de elementos `batchSize`.
Devoluções
  • Um conjunto de dados em lote

lote final público do conjunto de dados (long batchSize)

Agrupa elementos deste conjunto de dados em lotes. Inclui o último lote, mesmo que tenha menos de elementos `batchSize`.

Parâmetros
tamanho do batch O número de elementos desejados por lote
Devoluções
  • Um conjunto de dados em lote

conjunto de dados estático público fromTensorSlices (Ops tf, List < Operand <? >> tensores, List <Class <? extends TType >> outputTypes)

Cria um `Dataset` na memória cujos elementos são fatias dos tensores fornecidos. Cada elemento deste conjunto de dados será uma List<Operand<?>> , representando fatias (por exemplo, lotes) dos tensores fornecidos.

Parâmetros
tf Acessador de operações
tensores Uma lista de Operand<?> representa os componentes deste conjunto de dados (por exemplo, recursos, rótulos)
outputTypes Uma lista de classes de tipo tensor representando o tipo de dados de cada componente deste conjunto de dados.
Devoluções
  • Um novo `Dataset`

public Ops getOpsInstance ()

public List < Shape > getOutputShapes ()

Obtenha uma lista de formas para cada componente deste conjunto de dados.

Lista pública <Classe <? estende TType >> getOutputTypes ()

Obtenha uma lista de tipos de saída para cada componente deste conjunto de dados.

pública Operando <?> getVariant ()

Obtenha o tensor variante que representa este conjunto de dados.

public Iterator <List < Operand <? >>> iterator ()

Cria um iterador que itera por todos os lotes deste conjunto de dados de maneira rápida. Cada lote é uma lista de componentes, retornada como objetos `Output`.

Este método ativa para cada iteração por meio de lotes ao executar no modo antecipado. Para iteração em lote no modo Graph, consulte `makeOneShotIterator`.

Devoluções
  • um Iterador por meio de lotes deste conjunto de dados.

public DatasetIterator makeInitializeableIterator ()

Cria um `DatasetIterator` que pode ser usado para iterar sobre os elementos deste conjunto de dados.

Este iterador terá que ser inicializado com uma chamada para `iterator.makeInitializer (Dataset)` antes que os elementos possam ser recuperados em um loop.

Devoluções
  • Um novo `DatasetIterator` baseado na estrutura deste conjunto de dados.

public DatasetIterator makeOneShotIterator ()

Cria um `DatasetIterator` que pode ser usado para iterar sobre os elementos deste conjunto de dados. O uso de `makeOneShotIterator` garante que o iterador seja inicializado automaticamente neste conjunto de dados. pula No modo gráfico, o inicializador op será adicionado à lista inicializadora do Graph, que deve ser executada via `tf.init ()`:

Ex:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

No modo antecipado, o inicializador será executado automaticamente como resultado dessa chamada.

Devoluções
  • Um novo `DatasetIterator` baseado na estrutura deste conjunto de dados.

mapa de conjunto de dados público (função <List < Operand <? >>, List < Operand <? >>> mapeador)

Retorna um novo conjunto de dados que mapeia uma função sobre todos os elementos retornados por este conjunto de dados.

Por exemplo, suponha que cada elemento seja uma List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamar

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
mapeará a função sobre os componentes `features` e` labels`, multiplicando recursos por 2 e multiplicando os rótulos por 5.

Parâmetros
mapeador A função a ser aplicada a cada elemento deste iterador.
Devoluções
  • Um novo Dataset aplicando `mapeador` a cada elemento deste iterador.

public Dataset mapAllComponents (Função < Operando <?>, Operando <? >> mapeador)

Retorna um novo conjunto de dados que mapeia uma função em todos os elementos desse conjunto de dados, em todos os componentes de cada elemento.

Por exemplo, suponha que cada elemento seja uma List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamar dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) a função nos componentes `features` e` labels` de cada elemento, multiplicando-os todos por 2

Parâmetros
mapeador A função a ser aplicada a cada componente
Devoluções
  • Um novo Dataset aplicando `mapeador` a todos os componentes de cada elemento.

public Dataset mapOneComponent (int index, Function < Operand <?>, Operand <? >> mapper)

Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em um único componente de cada elemento.

Por exemplo, suponha que cada elemento seja uma List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamar dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) a função no componente `features` de cada elemento, multiplicando cada por 2.

Parâmetros
índice O índice do componente a ser transformado.
mapeador A função a ser aplicada ao componente de destino.
Devoluções
  • Um novo conjunto de dados aplicando `mapeador` ao componente no índice escolhido.

público final conjunto de dados pular (contagem longa)

Retorna um novo `Dataset` que ignora os elementos iniciais` count` deste conjunto de dados

Parâmetros
contar O número de elementos a `pular` para formar o novo conjunto de dados.
Devoluções
  • Um novo conjunto de dados com elementos `count` removidos.

take final público do conjunto de dados (contagem longa)

Retorna um novo `Dataset` com apenas os primeiros elementos` count` deste dataset.

Parâmetros
contar O número de elementos a "retirar" deste conjunto de dados.
Devoluções
  • Um novo conjunto de dados contendo os primeiros elementos `count` deste conjunto de dados.

public static Dataset textLineDataset (Ops tf, String filename, String compressionType, long bufferSize)

public static Dataset tfRecordDataset (Ops tf, String filename, String compressionType, long bufferSize)

public String toString ()