Realiza clasificación en formas de onda de audio.
La API espera un modelo TFLite con TFLite modelo de metadatos. .
La API admite modelos con un tensor de entrada de audio y un tensor de salida de clasificación. Para ser más específicos, estos son los requisitos.
- Tensor de audio de entrada (
kTfLiteFloat32)- tampón de audio de entrada de tamaño
[batch x samples]. - No se admite la inferencia por lotes (
batchse requiere que sea 1).
- tampón de audio de entrada de tamaño
kTfLiteFloat32 )- con
Nclases de 2 o 4 dimensiones, como[1 x N]o[1 x 1 x 1 x N] - el archivo de etiqueta debe estar empaquetado en los metadatos. Ver el ejemplo de la creación de metadatos para un clasificador de la imagen . Si no hay archivos de etiquetas empaquetados, usará el índice como etiqueta en el resultado.
Clases anidadas
| clase | AudioClassifier.AudioClassifierOptions | Las opciones para la creación de un AudioClassifier . | |
Métodos públicos
Métodos heredados
Métodos públicos
pública Lista < Clasificaciones > clasificar ( TensorAudio tensor)
Realiza una clasificación real en el tensor de audio proporcionado.
Parámetros
| tensor | un TensorAudio que contiene el clip de audio de entrada en flotador con valores entre [-1, 1). El tensor argumento debe tener el mismo tamaño plano como tensor de entrada del modelo TFLite. Se recomienda para crear tensor usando createInputTensorAudio método. |
|---|
Lanza
| Argumento de excepción ilegal | si un argumento no es válido |
|---|---|
| IllegalStateException | si ocurre un error al clasificar el clip de audio del código nativo |
pública AudioRecord createAudioRecord ()
Crea un AudioRecord ejemplo para grabar flujo de audio. La instancia AudioRecord devuelto se inicializa y las necesidades del cliente para llamar AudioRecord.startRecordingnull método para iniciar la grabación.
Devoluciones
- un
AudioRecordejemplo, enAudioRecord.STATE_INITIALIZED
Lanza
| Argumento de excepción ilegal | si el número de canales requerido por el modelo no es compatible |
|---|---|
| IllegalStateException | si la instancia de AudioRecord no se pudo inicializar |
public static AudioClassifier createFromBuffer ( ByteBuffer modelBuffer)
Crea un AudioClassifier ejemplo con un tampón de modelo y el valor predeterminado AudioClassifier.AudioClassifierOptions .
Parámetros
| modelBuffer | una directa ByteBuffer o una MappedByteBuffer del modelo de clasificación |
|---|
Lanza
| IllegalStateException | si hay un error interno |
|---|---|
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
| Argumento de excepción ilegal | si el búfer no es un modelo directo ByteBuffer o una MappedByteBuffer |
public static AudioClassifier createFromBufferAndOptions ( ByteBuffer modelBuffer, AudioClassifier.AudioClassifierOptions opciones)
Crea un AudioClassifier ejemplo con un tampón de modelo y AudioClassifier.AudioClassifierOptions .
Parámetros
| modelBuffer | una directa ByteBuffer o una MappedByteBuffer del modelo de clasificación |
|---|---|
| opciones |
Lanza
| IllegalStateException | si hay un error interno |
|---|---|
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
| Argumento de excepción ilegal | si el búfer no es un modelo directo ByteBuffer o una MappedByteBuffer |
public static AudioClassifier CreateFromFile (contexto Contexto, Cadena modelPath)
Crea un AudioClassifier ejemplo, de los predeterminados AudioClassifier.AudioClassifierOptions .
Parámetros
| contexto | |
|---|---|
| modelPath | ruta del modelo de clasificación con metadatos en los activos |
Lanza
| IOException | si se produce un error de E / S al cargar el modelo tflite |
|---|---|
| Argumento de excepción ilegal | si un argumento no es válido |
| IllegalStateException | si hay un error interno |
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
public static AudioClassifier CreateFromFile ( Archivo MODELFILE)
Crea un AudioClassifier ejemplo, de los predeterminados AudioClassifier.AudioClassifierOptions .
Parámetros
| modelFile | el modelo de clasificación File instancia |
|---|
Lanza
| IOException | si se produce un error de E / S al cargar el modelo tflite |
|---|---|
| Argumento de excepción ilegal | si un argumento no es válido |
| IllegalStateException | si hay un error interno |
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
public static AudioClassifier createFromFileAndOptions (contexto Contexto, Cadena modelPath, AudioClassifier.AudioClassifierOptions opciones)
Crea un AudioClassifier ejemplo de AudioClassifier.AudioClassifierOptions .
Parámetros
| contexto | |
|---|---|
| modelPath | ruta del modelo de clasificación con metadatos en los activos |
| opciones |
Lanza
| IOException | si se produce un error de E / S al cargar el modelo tflite |
|---|---|
| Argumento de excepción ilegal | si un argumento no es válido |
| IllegalStateException | si hay un error interno |
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
public static AudioClassifier createFromFileAndOptions ( Archivo MODELFILE, AudioClassifier.AudioClassifierOptions opciones)
Crea un AudioClassifier ejemplo.
Parámetros
| modelFile | el modelo de clasificación File instancia |
|---|---|
| opciones |
Lanza
| IOException | si se produce un error de E / S al cargar el modelo tflite |
|---|---|
| Argumento de excepción ilegal | si un argumento no es válido |
| IllegalStateException | si hay un error interno |
| Excepción en tiempo de ejecución | si hay un error de otro modo no especificado |
pública TensorAudio createInputTensorAudio ()
Crea un TensorAudio ejemplo a muestras de audio de entrada tienda.
Devoluciones
- un
TensorAudiocon el mismo tamaño como tensor de entrada del modelo
Lanza
| Argumento de excepción ilegal | si el modelo no es compatible |
|---|
getRequiredInputBufferSize larga público ()
Devuelve el tamaño de búfer de entrada requerido en número de elementos flotantes.
pública TensorAudio.TensorAudioFormat getRequiredTensorAudioFormat ()
Devuelve el TensorAudio.TensorAudioFormat requerido por el modelo.