Interpreter

Intérprete público de classe final

Classe de driver para direcionar a inferência de modelo com o TensorFlow Lite.

Observação: se você não precisar acessar nenhum dos recursos "experimentais" da API abaixo, prefira usar o InterpreterApi e o InterpreterFactory em vez de usar o Interpreter diretamente.

Um Interpreter encapsula um modelo TensorFlow Lite pré-treinado, no qual as operações são executadas para inferência de modelo.

Por exemplo, se um modelo usa apenas uma entrada e retorna apenas uma saída:

try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.run(input, output);
 }
 

Se um modelo tiver várias entradas ou saídas:

Object[] inputs = {input0, input1, ...};
 Map<Integer, Object> map_of_indices_to_outputs = new HashMap<>();
 FloatBuffer ith_output = FloatBuffer.allocateDirect(3 * 2 * 4);  // Float tensor, shape 3x2x4.
 ith_output.order(ByteOrder.nativeOrder());
 map_of_indices_to_outputs.put(i, ith_output);
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(inputs, map_of_indices_to_outputs);
 }
 

Se um modelo usa ou produz tensores de string:

String[] input = {"foo", "bar"};  // Input tensor shape is [2].
 String[][] output = new String[3][2];  // Output tensor shape is [3, 2].
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(input, output);
 }
 

Observe que há uma distinção entre shape[] e shape[1]. Para saídas de tensor de string escalar:

String[] input = {"foo"};  // Input tensor shape is [1].
 ByteBuffer outputBuffer = ByteBuffer.allocate(OUTPUT_BYTES_SIZE);  // Output tensor shape is [].
 try (Interpreter interpreter = new Interpreter(file_of_a_tensorflowlite_model)) {
   interpreter.runForMultipleInputsOutputs(input, outputBuffer);
 }
 byte[] outputBytes = new byte[outputBuffer.remaining()];
 outputBuffer.get(outputBytes);
 // Below, the `charset` can be StandardCharsets.UTF_8.
 String output = new String(outputBytes, charset);
 

As ordens de entradas e saídas são determinadas ao converter o modelo TensorFlow para o modelo TensorFlowLite com Toco, assim como as formas padrão das entradas.

Quando as entradas são fornecidas como matrizes (multidimensionais), os tensores de entrada correspondentes serão redimensionados implicitamente de acordo com a forma dessa matriz. Quando as entradas são fornecidas como tipos Buffer , nenhum redimensionamento implícito é feito; o chamador deve garantir que o tamanho do byte Buffer corresponda ao do tensor correspondente ou que eles primeiro redimensionem o tensor por meio resizeInput(int, int[]) . As informações de forma e tipo do tensor podem ser obtidas por meio da classe Tensor , disponível via getInputTensor(int) e getOutputTensor(int) .

AVISO: As instâncias Interpreter não são thread-safe. Um Interpreter possui recursos que devem ser explicitamente liberados invocando close()

A biblioteca TFLite é construída com base na API 19 do NDK. Ela pode funcionar para níveis de API do Android abaixo de 19, mas não é garantida.

Classes aninhadas

aula Interpreter.Options Uma classe de opções para controlar o comportamento do interpretador de tempo de execução.

Construtores Públicos

Intérprete ( Arquivo modelArquivo)
Inicializa um Interpreter .
Intérprete ( Arquivo modelFile, Interpreter.Options opções)
Inicializa um Interpreter e especifica opções para personalizar o comportamento do intérprete.
Intérprete ( ByteBuffer byteBuffer)
Inicializa um Interpreter com um ByteBuffer de um arquivo de modelo.
Intérprete ( ByteBuffer byteBuffer, Interpreter.Options opções)
Inicializa um Interpreter com um ByteBuffer de um arquivo de modelo e um conjunto de Interpreter.Options personalizados.

Métodos públicos

vazio
alocarTensores ()
Atualiza explicitamente as alocações para todos os tensores, se necessário.
vazio
fechar ()
Libere recursos associados à instância InterpreterApi .
int
getInputIndex ( String opName)
Obtém o índice de uma entrada dado o nome operacional da entrada.
tensor
getInputTensor (int inputIndex)
Obtém o tensor associado ao índice de entrada fornecido.
int
getInputTensorCount ()
Obtém o número de tensores de entrada.
tensor
getInputTensorFromSignature ( String inputName, String signatureKey)
Obtém o Tensor associado ao nome de entrada fornecido e ao nome do método de assinatura.
Longo
getLastNativeInferenceDurationNanoseconds ()
Retorna o tempo de inferência nativa.
int
getOutputIndex ( String opName)
Obtém o índice de uma saída dado o nome operacional da saída.
tensor
getOutputTensor (int outputIndex)
Obtém o tensor associado ao índice de saída fornecido.
int
getOutputTensorCount ()
Obtém o número de tensores de saída.
tensor
getOutputTensorFromSignature ( String outputName, String signatureKey)
Obtém o tensor associado ao nome de saída fornecido no método de assinatura específico.
Corda[]
getSignatureInputs ( String signatureKey)
Obtém a lista de entradas SignatureDefs para o método signatureKey .
Corda[]
getSignatureKeys ()
Obtém a lista de nomes de métodos exportados SignatureDef disponíveis no modelo.
Corda[]
getSignatureOutputs ( String signatureKey)
Obtém a lista de saídas SignatureDefs para o método signatureKey .
vazio
resetVariableTensors ()
Avançado: redefine todos os tensores variáveis ​​para o valor padrão.
vazio
resizeInput (int idx, int[] dims, booleano estrito)
Redimensiona a entrada idx-th do modelo nativo para os dims fornecidos.
vazio
resizeInput (int idx, int[] dims)
Redimensiona a entrada idx-th do modelo nativo para os dims fornecidos.
vazio
executar (entrada de objeto , saída de objeto )
Executa a inferência do modelo se o modelo usar apenas uma entrada e fornecer apenas uma saída.
vazio
runForMultipleInputsOutputs ( Object[] entradas, Map < Integer , Object > outputs)
Executa a inferência de modelo se o modelo receber várias entradas ou retornar várias saídas.
vazio
runSignature ( Mapa < String , Objeto > entradas, Mapa < String , Objeto > saídas)
O mesmo que runSignature(Map, Map, String) , mas não requer a passagem de um signatureKey, supondo que o modelo tenha um SignatureDef.
vazio
runSignature ( Mapa < String , Objeto > entradas, Mapa < String , Objeto > saídas, String signatureKey)
Executa a inferência de modelo com base em SignatureDef fornecida por meio signatureKey .
vazio
setCancelled (booleano cancelado)
Avançado: Interrompe a inferência no meio de uma chamada para run(Object, Object) .

Métodos Herdados

Construtores Públicos

Intérprete público ( Arquivo modelArquivo)

Inicializa um Interpreter .

Parâmetros
arquivomodelo a Arquivo de um modelo TF Lite pré-treinado.
lances
Exceção de argumento ilegal se modelFile não codificar um modelo válido do TensorFlow Lite.

public Interpreter ( File modelFile, Interpreter.Options options)

Inicializa um Interpreter e especifica opções para personalizar o comportamento do intérprete.

Parâmetros
arquivomodelo um arquivo de um modelo TF Lite pré-treinado
opções um conjunto de opções para personalizar o comportamento do intérprete
lances
Exceção de argumento ilegal se modelFile não codificar um modelo válido do TensorFlow Lite.

Intérprete público ( ByteBuffer byteBuffer)

Inicializa um Interpreter com um ByteBuffer de um arquivo de modelo.

O ByteBuffer não deve ser modificado após a construção de um Interpreter . O ByteBuffer pode ser um MappedByteBuffer que mapeia em memória um arquivo de modelo ou um ByteBuffer direto de nativeOrder() que contém o conteúdo de bytes de um modelo.

Parâmetros
byteBuffer
lances
Exceção de argumento ilegal se byteBuffer não for um MappedByteBuffer nem um ByteBuffer direto de nativeOrder.

public Interpreter ( ByteBuffer byteBuffer, Interpreter.Options opções)

Inicializa um Interpreter com um ByteBuffer de um arquivo de modelo e um conjunto de Interpreter.Options personalizados.

O ByteBuffer não deve ser modificado após a construção de um Interpreter . O ByteBuffer pode ser um MappedByteBuffer que mapeia em memória um arquivo de modelo ou um ByteBuffer direto de nativeOrder() que contém o conteúdo de bytes de um modelo.

Parâmetros
byteBuffer
opções
lances
Exceção de argumento ilegal se byteBuffer não for um MappedByteBuffer nem um ByteBuffer direto de nativeOrder.

Métodos públicos

public void alocarTensores ()

Atualiza explicitamente as alocações para todos os tensores, se necessário.

Isso propagará formas e alocações de memória para tensores dependentes usando a(s) forma(s) de tensor de entrada conforme fornecido.

Nota: Esta chamada é *totalmente opcional*. A alocação do tensor ocorrerá automaticamente durante a execução se algum tensor de entrada for redimensionado. Essa chamada é mais útil para determinar as formas de quaisquer tensores de saída antes de executar o gráfico, por exemplo,

 interpreter.resizeInput(0, new int[]{1, 4, 4, 3}));
 interpreter.allocateTensors();
 FloatBuffer input = FloatBuffer.allocate(interpreter.getInputTensor(0).numElements());
 // Populate inputs...
 FloatBuffer output = FloatBuffer.allocate(interpreter.getOutputTensor(0).numElements());
 interpreter.run(input, output)
 // Process outputs...

Nota: Alguns gráficos têm saídas com forma dinâmica, caso em que a forma de saída pode não se propagar completamente até que a inferência seja executada.

público vazio fechar ()

Libere recursos associados à instância InterpreterApi .

public int getInputIndex ( String opName)

Obtém o índice de uma entrada dado o nome operacional da entrada.

Parâmetros
opName

public Tensor getInputTensor (int inputIndex)

Obtém o tensor associado ao índice de entrada fornecido.

Parâmetros
inputIndex

public int getInputTensorCount ()

Obtém o número de tensores de entrada.

public Tensor getInputTensorFromSignature ( String inputName, String signatureKey)

Obtém o Tensor associado ao nome de entrada fornecido e ao nome do método de assinatura.

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
inputName Insira o nome na assinatura.
signatureKey A chave de assinatura que identifica o SignatureDef pode ser nula se o modelo tiver uma assinatura.
lances
Exceção de argumento ilegal se inputName ou signatureKey for nulo ou vazio ou nome inválido fornecido.

public Long getLastNativeInferenceDurationNanoseconds ()

Retorna o tempo de inferência nativa.

public int getOutputIndex ( String opName)

Obtém o índice de uma saída dado o nome operacional da saída.

Parâmetros
opName

public Tensor getOutputTensor (int outputIndex)

Obtém o tensor associado ao índice de saída fornecido.

Observação: os detalhes do tensor de saída (por exemplo, forma) podem não ser totalmente preenchidos até que a inferência seja executada. Se você precisar de detalhes atualizados *antes* de executar a inferência (por exemplo, depois de redimensionar um tensor de entrada, o que pode invalidar as formas do tensor de saída), use allocateTensors() para acionar explicitamente a alocação e a propagação da forma. Observe que, para gráficos com formas de saída que dependem de *valores* de entrada, a forma de saída pode não ser totalmente determinada até a execução da inferência.

Parâmetros
outputIndex

public int getOutputTensorCount ()

Obtém o número de tensores de saída.

public Tensor getOutputTensorFromSignature ( String outputName, String signatureKey)

Obtém o tensor associado ao nome de saída fornecido no método de assinatura específico.

Observação: os detalhes do tensor de saída (por exemplo, forma) podem não ser totalmente preenchidos até que a inferência seja executada. Se você precisar de detalhes atualizados *antes* de executar a inferência (por exemplo, depois de redimensionar um tensor de entrada, o que pode invalidar as formas do tensor de saída), use allocateTensors() para acionar explicitamente a alocação e a propagação da forma. Observe que, para gráficos com formas de saída que dependem de *valores* de entrada, a forma de saída pode não ser totalmente determinada até a execução da inferência.

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
outputName Nome de saída na assinatura.
signatureKey A chave de assinatura que identifica o SignatureDef pode ser nula se o modelo tiver uma assinatura.
lances
Exceção de argumento ilegal se outputName ou signatureKey for nulo ou vazio ou nome inválido fornecido.

public String[] getSignatureInputs ( String signatureKey)

Obtém a lista de entradas SignatureDefs para o método signatureKey .

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
signatureKey

public String[] getSignatureKeys ()

Obtém a lista de nomes de métodos exportados SignatureDef disponíveis no modelo.

AVISO: Esta é uma API experimental e sujeita a alterações.

public String[] getSignatureOutputs ( String signatureKey)

Obtém a lista de saídas SignatureDefs para o método signatureKey .

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
signatureKey

public void resetVariableTensors ()

Avançado: redefine todos os tensores variáveis ​​para o valor padrão.

Se um tensor variável não tiver um buffer associado, ele será zerado.

AVISO: Esta é uma API experimental e sujeita a alterações.

public void resizeInput (int idx, int[] dims, boolean strict)

Redimensiona a entrada idx-th do modelo nativo para os dims fornecidos.

Quando `strict` é True, somente dimensões desconhecidas podem ser redimensionadas. Dimensões desconhecidas são indicadas como `-1` na matriz retornada por `Tensor.shapeSignature()`.

Parâmetros
idx
escurece
estrito

public void resizeInput (int idx, int[] dims)

Redimensiona a entrada idx-th do modelo nativo para os dims fornecidos.

Parâmetros
idx
escurece

public void run (entrada de objeto , saída de objeto )

Executa a inferência do modelo se o modelo usar apenas uma entrada e fornecer apenas uma saída.

Aviso: A API é mais eficiente se um Buffer (de preferência direto, mas não obrigatório) for usado como o tipo de dados de entrada/saída. Considere usar Buffer para alimentar e buscar dados primitivos para melhor desempenho. Os seguintes tipos concretos Buffer são suportados:

  • ByteBuffer - compatível com qualquer tipo de Tensor primitivo subjacente.
  • FloatBuffer - compatível com tensores float.
  • IntBuffer - compatível com tensores int32.
  • LongBuffer - compatível com tensores int64.
Observe que os tipos booleanos são suportados apenas como arrays, não Buffer s, ou como entradas escalares.

Parâmetros
entrada uma matriz ou matriz multidimensional ou um Buffer de tipos primitivos, incluindo int, float, long e byte. Buffer é a maneira preferida de passar grandes dados de entrada para tipos primitivos, enquanto os tipos de string exigem o uso do caminho de entrada da matriz (multidimensional). Quando um Buffer é usado, seu conteúdo deve permanecer inalterado até que a inferência do modelo seja feita, e o chamador deve garantir que o Buffer esteja na posição de leitura apropriada. Um valor null é permitido somente se o chamador estiver usando um Delegate que permite a interoperabilidade do identificador de buffer e esse buffer tiver sido associado à entrada Tensor .
saída uma matriz multidimensional de dados de saída ou um Buffer de tipos primitivos, incluindo int, float, long e byte. Quando um Buffer é usado, o chamador deve garantir que ele esteja definido na posição de gravação apropriada. Um valor nulo é permitido e é útil para certos casos, por exemplo, se o chamador estiver usando um Delegate que permite a interoperabilidade do identificador de buffer e esse buffer tiver sido vinculado ao Tensor de saída (consulte também Interpreter.Options#setAllowBufferHandleOutput(boolean) Tensor Tensor.asReadOnlyBuffer()

public void runForMultipleInputsOutputs ( Object[] inputs, Map < Integer , Object > outputs)

Executa a inferência de modelo se o modelo receber várias entradas ou retornar várias saídas.

Aviso: A API é mais eficiente se Buffer (de preferência diretos, mas não obrigatórios) forem usados ​​como tipos de dados de entrada/saída. Considere usar Buffer para alimentar e buscar dados primitivos para melhor desempenho. Os seguintes tipos concretos Buffer são suportados:

  • ByteBuffer - compatível com qualquer tipo de Tensor primitivo subjacente.
  • FloatBuffer - compatível com tensores float.
  • IntBuffer - compatível com tensores int32.
  • LongBuffer - compatível com tensores int64.
Observe que os tipos booleanos são suportados apenas como arrays, não Buffer s, ou como entradas escalares.

Observação: valores null para elementos individuais de inputs e outputs são permitidos somente se o chamador estiver usando um Delegate que permita a interoperabilidade do identificador de buffer e esse buffer tiver sido vinculado ao(s) Tensor (es) de entrada ou saída correspondente(s).

Parâmetros
entradas uma matriz de dados de entrada. As entradas devem estar na mesma ordem das entradas do modelo. Cada entrada pode ser um array ou array multidimensional, ou um Buffer de tipos primitivos incluindo int, float, long e byte. Buffer é a maneira preferida de passar grandes dados de entrada, enquanto os tipos de string exigem o uso do caminho de entrada da matriz (multidimensional). Quando Buffer é usado, seu conteúdo deve permanecer inalterado até que a inferência do modelo seja feita, e o chamador deve garantir que o Buffer esteja na posição de leitura apropriada.
saídas um mapa que mapeia índices de saída para matrizes multidimensionais de dados de saída ou Buffer s de tipos primitivos, incluindo int, float, long e byte. Necessita apenas manter entradas para as saídas a serem utilizadas. Quando um Buffer é usado, o chamador deve garantir que ele esteja definido na posição de gravação apropriada. O mapa pode estar vazio para os casos em que os manipuladores de buffer são usados ​​para dados do tensor de saída ou casos em que as saídas são moldadas dinamicamente e o chamador deve consultar a forma Tensor de saída após a inferência ter sido invocada, buscando os dados diretamente do tensor de saída ( via Tensor.asReadOnlyBuffer() ).

public void runSignature ( Mapa < String , Objeto > entradas, Mapa < String , Objeto > saídas)

O mesmo que runSignature(Map, Map, String) , mas não requer a passagem de um signatureKey, supondo que o modelo tenha um SignatureDef. Se o modelo tiver mais de um SignatureDef, ele lançará uma exceção.

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
entradas
saídas

public void runSignature ( Map < String , Object > inputs, Map < String , Object > outputs, String signatureKey)

Executa a inferência de modelo com base em SignatureDef fornecida por meio signatureKey .

Consulte run(Object, Object) para obter mais detalhes sobre os tipos de dados de entrada e saída permitidos.

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
entradas Um mapa do nome de entrada no SignatureDef para um objeto de entrada.
saídas Um mapa do nome de saída em SignatureDef para dados de saída. Isso pode estar vazio se o chamador desejar consultar os dados Tensor diretamente após a inferência (por exemplo, se a forma de saída for dinâmica ou se forem usados ​​identificadores de buffer de saída).
signatureKey Chave de assinatura que identifica o SignatureDef.
lances
Exceção de argumento ilegal se inputs for nulo ou vazio, se outputs ou signatureKey for nulo ou se ocorrer um erro ao executar a inferência.

public void setCancelled (booleano cancelado)

Avançado: Interrompe a inferência no meio de uma chamada para run(Object, Object) .

Um sinalizador de cancelamento será definido como verdadeiro quando essa função for chamada. O interpretador verificará o sinalizador entre as invocações de Op e, se for true , o interpretador interromperá a execução. O interpretador permanecerá em um estado cancelado até que seja explicitamente "não cancelado" por setCancelled(false) .

AVISO: Esta é uma API experimental e sujeita a alterações.

Parâmetros
cancelado true para cancelar a inferência da melhor maneira possível; false para retomar.
lances
IllegalStateException se o interpretador não for inicializado com a opção cancelável, que por padrão está desativada.