AudioClassifier

AudioClassifier de clase final pública

Realiza clasificación de formas de onda de audio.

La API espera un modelo TFLite con metadatos del modelo TFLite. .

La API admite modelos con un tensor de entrada de audio y un tensor de salida de clasificación. Para ser más específicos, aquí están los requisitos.

  • Tensor de audio de entrada ( kTfLiteFloat32 )
    • búfer de audio de entrada de tamaño [batch x samples] .
    • No se admite la inferencia por lotes (se requiere que batch sea 1).
  • Tensor de puntuación de salida ( kTfLiteFloat32 )
Vea un ejemplo de dicho modelo y una herramienta de demostración CLI para probar fácilmente esta API.

Clases anidadas

clase AudioClassifier.AudioClassifierOptions Opciones para configurar un AudioClassifier .

Métodos públicos

Lista < Clasificaciones >
clasificar (tensor TensorAudio )
Realiza una clasificación real en el tensor de audio proporcionado.
Grabación de audio
crearRegistro de Audio ()
Crea una instancia AudioRecord para grabar secuencias de audio.
Clasificador de audio estático
createFromBuffer (modelo ByteBufferBuffer )
Crea una instancia AudioClassifier con un búfer de modelo y el AudioClassifier.AudioClassifierOptions predeterminado.
Clasificador de audio estático
Clasificador de audio estático
createFromFile (contexto de contexto, ruta del modelo de cadena )
Crea una instancia AudioClassifier a partir del AudioClassifier.AudioClassifierOptions predeterminado.
Clasificador de audio estático
createFromFile ( Archivo modeloArchivo)
Crea una instancia AudioClassifier a partir del AudioClassifier.AudioClassifierOptions predeterminado.
Clasificador de audio estático
createFromFileAndOptions (contexto contextual, ruta del modelo de cadena , opciones AudioClassifier.AudioClassifierOptions )
Clasificador de audio estático
TensorAudio
crearInputTensorAudio ()
Crea una instancia TensorAudio para almacenar muestras de audio de entrada.
largo
getRequiredInputBufferSize ()
Devuelve el tamaño del búfer de entrada requerido en número de elementos flotantes.
TensorAudio.TensorAudioFormat
getRequiredTensorAudioFormat ()
Devuelve el TensorAudio.TensorAudioFormat requerido por el modelo.

Métodos heredados

Métodos públicos

Lista pública <Clasificaciones> clasificar (tensor de TensorAudio )

Realiza una clasificación real en el tensor de audio proporcionado.

Parámetros
tensor un TensorAudio que contiene el clip de audio de entrada en flotante con valores entre [-1, 1). El argumento tensor debe tener el mismo tamaño plano que el tensor de entrada del modelo TFLite. Se recomienda crear tensor utilizando el método createInputTensorAudio .
Lanza
Argumento de excepción ilegal si un argumento no es válido
Excepción de estado ilegal si se produce un error al clasificar el clip de audio del código nativo

registro de audio público crear registro de audio ()

Crea una instancia AudioRecord para grabar secuencias de audio. La instancia AudioRecord devuelta se inicializa y el cliente debe llamar al método AudioRecord.startRecordingnull para comenzar a grabar.

Devoluciones
Lanza
Argumento de excepción ilegal si el número de canales requerido por el modelo no es compatible
Excepción de estado ilegal si la instancia AudioRecord no pudo inicializarse

AudioClassifier estático público createFromBuffer ( ByteBuffer modelBuffer)

Crea una instancia AudioClassifier con un búfer de modelo y el AudioClassifier.AudioClassifierOptions predeterminado.

Parámetros
modeloBuffer un ByteBuffer directo o un MappedByteBuffer del modelo de clasificación
Lanza
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado
Argumento de excepción ilegal si el búfer del modelo no es un ByteBuffer directo o un MappedByteBuffer

AudioClassifier estático público createFromBufferAndOptions (opciones ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions )

Crea una instancia AudioClassifier con un búfer de modelo y AudioClassifier.AudioClassifierOptions .

Parámetros
modeloBuffer un ByteBuffer directo o un MappedByteBuffer del modelo de clasificación
opciones
Lanza
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado
Argumento de excepción ilegal si el búfer del modelo no es un ByteBuffer directo o un MappedByteBuffer

AudioClassifier estático público createFromFile (contexto de contexto, ruta de modelo de cadena )

Crea una instancia AudioClassifier a partir del AudioClassifier.AudioClassifierOptions predeterminado.

Parámetros
contexto
modeloRuta ruta del modelo de clasificación con metadatos en los activos
Lanza
IOExcepción si ocurre un error de E/S al cargar el modelo tflite
Argumento de excepción ilegal si un argumento no es válido
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado

Clasificador de audio estático público createFromFile ( archivo modelFile)

Crea una instancia AudioClassifier a partir del AudioClassifier.AudioClassifierOptions predeterminado.

Parámetros
modeloArchivo el modelo de clasificación Instancia File
Lanza
IOExcepción si ocurre un error de E/S al cargar el modelo tflite
Argumento de excepción ilegal si un argumento no es válido
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado

AudioClassifier estático público createFromFileAndOptions (contexto de contexto, ruta de modelo de cadena , opciones AudioClassifier.AudioClassifierOptions )

Crea una instancia AudioClassifier a partir de AudioClassifier.AudioClassifierOptions .

Parámetros
contexto
modeloRuta ruta del modelo de clasificación con metadatos en los activos
opciones
Lanza
IOExcepción si ocurre un error de E/S al cargar el modelo tflite
Argumento de excepción ilegal si un argumento no es válido
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado

AudioClassifier estático público createFromFileAndOptions (opciones de archivo modelFile, AudioClassifier.AudioClassifierOptions )

Crea una instancia AudioClassifier .

Parámetros
modeloArchivo el modelo de clasificación Instancia File
opciones
Lanza
IOExcepción si ocurre un error de E/S al cargar el modelo tflite
Argumento de excepción ilegal si un argumento no es válido
Excepción de estado ilegal si hay un error interno
Excepción en tiempo de ejecución si hay un error no especificado

público TensorAudio createInputTensorAudio ()

Crea una instancia TensorAudio para almacenar muestras de audio de entrada.

Devoluciones
  • un TensorAudio con el mismo tamaño que el tensor de entrada del modelo
Lanza
Argumento de excepción ilegal si el modelo no es compatible

público largo getRequiredInputBufferSize ()

Devuelve el tamaño del búfer de entrada requerido en número de elementos flotantes.

público TensorAudio.TensorAudioFormat getRequiredTensorAudioFormat ()

Devuelve el TensorAudio.TensorAudioFormat requerido por el modelo.