Эта страница переведена с помощью Cloud Translation API.

Интеграция аудио классификаторов

Классификация звука — это распространенный случай использования машинного обучения для классификации типов звука. Например, он может идентифицировать виды птиц по их песням.

API AudioClassifier библиотеки задач можно использовать для развертывания пользовательских или предварительно обученных классификаторов звука в мобильном приложении.

Основные возможности API AudioClassifier

Обработка входного аудио, например, преобразование 16-битного кодирования PCM в кодирование с плавающей запятой PCM и манипулирование кольцевым аудиобуфером.
Отметьте регион карты.
Поддержка модели классификации с несколькими головками.
Поддержка как одно-, так и многоуровневой классификации.
Пороговое значение для фильтрации результатов.
Результаты классификации Top-k.
Пометьте список разрешений и список запрещенных.

Поддерживаемые модели аудиоклассификаторов

Следующие модели гарантированно совместимы с AudioClassifier API.

Модели, созданные TensorFlow Lite Model Maker для классификации аудио .
Предварительно обученные модели классификации аудиособытий на TensorFlow Hub .
Пользовательские модели, отвечающие требованиям совместимости моделей .

Выполнить вывод в Java

См. справочное приложение Audio Classification для примера использования AudioClassifier в приложении для Android.

Шаг 1: Импорт зависимости Gradle и других настроек

Скопируйте файл модели .tflite в каталог активов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify that the tflite file should not be compressed when building the APK package.
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Audio Task Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-audio:0.4.0'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.0'
}

Шаг 2: Использование модели

// Initialization
AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
AudioClassifier classifier =
    AudioClassifier.createFromFileAndOptions(context, modelFile, options);

// Start recording
AudioRecord record = classifier.createAudioRecord();
record.startRecording();

// Load latest audio samples
TensorAudio audioTensor = classifier.createInputTensorAudio();
audioTensor.load(record);

// Run inference
List<Classifications> results = audioClassifier.classify(audioTensor);

Дополнительные параметры настройки AudioClassifier см. в исходном коде и javadoc .

Выполнить вывод в iOS

Шаг 1: Установите зависимости

Библиотека задач поддерживает установку с помощью CocoaPods. Убедитесь, что CocoaPods установлен в вашей системе. Инструкции см. в руководстве по установке CocoaPods .

Подробную информацию о добавлении модулей в проект Xcode см. в руководстве CocoaPods .

Добавьте модуль TensorFlowLiteTaskAudio в файл Podfile.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskAudio'
end

Убедитесь, что модель .tflite , которую вы будете использовать для логического вывода, присутствует в вашем комплекте приложений.

Шаг 2: Использование модели

Быстрый

// Imports
import TensorFlowLiteTaskAudio
import AVFoundation

// Initialization
guard let modelPath = Bundle.main.path(forResource: "sound_classification",
                                            ofType: "tflite") else { return }

let options = AudioClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try AudioClassifier.classifier(options: options)

// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
let audioTensor = classifier.createInputAudioTensor()

// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
let audioRecord = try classifier.createAudioRecord()

// Request record permissions from AVAudioSession before invoking audioRecord.startRecording().
AVAudioSession.sharedInstance().requestRecordPermission { granted in
    if granted {
        DispatchQueue.main.async {
            // Start recording the incoming audio samples from the on-device microphone.
            try audioRecord.startRecording()

            // Load the samples currently held by the audio record buffer into the audio tensor.
            try audioTensor.load(audioRecord: audioRecord)

            // Run inference
            let classificationResult = try classifier.classify(audioTensor: audioTensor)
        }
    }
}

Цель С

// Imports
#import <TensorFlowLiteTaskAudio/TensorFlowLiteTaskAudio.h>
#import <AVFoundation/AVFoundation.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"sound_classification" ofType:@"tflite"];

TFLAudioClassifierOptions *options =
    [[TFLAudioClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLAudioClassifier *classifier = [TFLAudioClassifier audioClassifierWithOptions:options
                                                                          error:nil];

// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
TFLAudioTensor *audioTensor = [classifier createInputAudioTensor];

// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
TFLAudioRecord *audioRecord = [classifier createAudioRecordWithError:nil];

// Request record permissions from AVAudioSession before invoking -[TFLAudioRecord startRecordingWithError:].
[[AVAudioSession sharedInstance] requestRecordPermission:^(BOOL granted) {
    if (granted) {
        dispatch_async(dispatch_get_main_queue(), ^{
            // Start recording the incoming audio samples from the on-device microphone.
            [audioRecord startRecordingWithError:nil];

            // Load the samples currently held by the audio record buffer into the audio tensor.
            [audioTensor loadAudioRecord:audioRecord withError:nil];

            // Run inference
            TFLClassificationResult *classificationResult =
                [classifier classifyWithAudioTensor:audioTensor error:nil];

        });
    }
}];

Дополнительные параметры для настройки TFLAudioClassifier см. в исходном коде .

Запустить вывод в Python

Шаг 1: Установите пакет pip

pip install tflite-support

Linux: запустите sudo apt-get update && apt-get install libportaudio2
Mac и Windows: PortAudio устанавливается автоматически при установке pip-пакета tflite-support .

Шаг 2: Использование модели

# Imports
from tflite_support.task import audio
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = audio.AudioClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = audio.AudioClassifier.create_from_options(options)

# Alternatively, you can create an audio classifier in the following manner:
# classifier = audio.AudioClassifier.create_from_file(model_path)

# Run inference
audio_file = audio.TensorAudio.create_from_wav_file(audio_path, classifier.required_input_buffer_size)
audio_result = classifier.classify(audio_file)

Дополнительные параметры настройки AudioClassifier см. в исходном коде .

Запустить вывод на C++

// Initialization
AudioClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<AudioClassifier> audio_classifier = AudioClassifier::CreateFromOptions(options).value();

// Create input audio buffer from your `audio_data` and `audio_format`.
// See more information here: tensorflow_lite_support/cc/task/audio/core/audio_buffer.h
int input_size = audio_classifier->GetRequiredInputBufferSize();
const std::unique_ptr<AudioBuffer> audio_buffer =
    AudioBuffer::Create(audio_data, input_size, audio_format).value();

// Run inference
const ClassificationResult result = audio_classifier->Classify(*audio_buffer).value();

Дополнительные параметры настройки AudioClassifier см. в исходном коде .

Требования к совместимости моделей

API AudioClassifier ожидает модель TFLite с обязательными метаданными модели TFLite . См. примеры создания метаданных для аудиоклассификаторов с помощью TensorFlow Lite Metadata Writer API .

Совместимые модели аудиоклассификаторов должны соответствовать следующим требованиям:

Входной звуковой тензор (kTfLiteFloat32)
- аудиоклип размером [batch x samples] .
- пакетный вывод не поддерживается ( batch должен быть равен 1).
- для многоканальных моделей каналы необходимо чередовать.
Тензор выходных оценок (kTfLiteFloat32)
- Массив [1 x N] , где N представляет номер класса.
- необязательные (но рекомендуемые) карты меток как AssociatedFile-s с типом TENSOR_AXIS_LABELS, содержащие одну метку на строку. Первый такой AssociatedFile (если есть) используется для заполнения поля label (названного class_name в C++) результатов. Поле display_name заполняется из файла AssociatedFile (если есть), языковой стандарт которого соответствует полю display_names_locale в AudioClassifierOptions используемом во время создания («en» по умолчанию, т. е. английский). Если ни один из них недоступен, будет заполнено только поле index результатов.