Ses sınıflandırması, ses türlerini sınıflandırmak için Makine Öğreniminin yaygın bir kullanım örneğidir. Örneğin kuş türlerini ötüşlerinden tanıyabiliyor.
Görev Kitaplığı AudioClassifier
API'si, özel ses sınıflandırıcılarınızı veya önceden eğitilmiş olanları mobil uygulamanıza dağıtmak için kullanılabilir.
AudioClassifier API'nin temel özellikleri
Giriş ses işleme, örneğin PCM 16 bit kodlamanın PCM Float kodlamaya dönüştürülmesi ve ses halkası arabelleğinin manipülasyonu.
Harita yerel ayarını etiketleyin.
Çok kafalı sınıflandırma modelini destekler.
Hem tek etiketli hem de çok etiketli sınıflandırmayı destekler.
Sonuçları filtrelemek için puan eşiği.
Top-k sınıflandırma sonuçları.
İzin verilenler listesini ve reddedilenler listesini etiketleyin.
Desteklenen ses sınıflandırıcı modelleri
Aşağıdaki modellerin AudioClassifier
API ile uyumlu olduğu garanti edilir.
Ses Sınıflandırması için TensorFlow Lite Model Maker tarafından oluşturulan modeller.
TensorFlow Hub'da önceden eğitilmiş ses olayı sınıflandırma modelleri .
Model uyumluluk gereksinimlerini karşılayan özel modeller.
Java'da çıkarımı çalıştırma
Bir Android uygulamasında AudioClassifier
kullanıldığı bir örnek için Ses Sınıflandırması referans uygulamasına bakın.
Adım 1: Gradle bağımlılığını ve diğer ayarları içe aktarın
.tflite
model dosyasını, modelin çalıştırılacağı Android modülünün asset dizinine kopyalayın. Dosyanın sıkıştırılmaması gerektiğini belirtin ve TensorFlow Lite kitaplığını modülün build.gradle
dosyasına ekleyin:
android {
// Other settings
// Specify that the tflite file should not be compressed when building the APK package.
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Audio Task Library dependency (NNAPI is included)
implementation 'org.tensorflow:tensorflow-lite-task-audio:0.4.4'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}
Adım 2: Modelin kullanılması
// Initialization
AudioClassifierOptions options =
AudioClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setMaxResults(1)
.build();
AudioClassifier classifier =
AudioClassifier.createFromFileAndOptions(context, modelFile, options);
// Start recording
AudioRecord record = classifier.createAudioRecord();
record.startRecording();
// Load latest audio samples
TensorAudio audioTensor = classifier.createInputTensorAudio();
audioTensor.load(record);
// Run inference
List<Classifications> results = audioClassifier.classify(audioTensor);
AudioClassifier
yapılandırmaya yönelik daha fazla seçenek için kaynak koduna ve javadoc'a bakın.
İOS'ta çıkarımı çalıştırma
1. Adım: Bağımlılıkları yükleyin
Görev Kitaplığı, CocoaPod'lar kullanılarak kurulumu destekler. Sisteminizde CocoaPods'un kurulu olduğundan emin olun. Talimatlar için lütfen CocoaPods kurulum kılavuzuna bakın.
Bir Xcode projesine bölme eklemeyle ilgili ayrıntılar için lütfen CocoaPods kılavuzuna bakın.
TensorFlowLiteTaskAudio
bölmesini Pod dosyasına ekleyin.
target 'MyAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskAudio'
end
Çıkarım için kullanacağınız .tflite
modelinin uygulama paketinizde mevcut olduğundan emin olun.
Adım 2: Modelin kullanılması
Süratli
// Imports
import TensorFlowLiteTaskAudio
import AVFoundation
// Initialization
guard let modelPath = Bundle.main.path(forResource: "sound_classification",
ofType: "tflite") else { return }
let options = AudioClassifierOptions(modelPath: modelPath)
// Configure any additional options:
// options.classificationOptions.maxResults = 3
let classifier = try AudioClassifier.classifier(options: options)
// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
let audioTensor = classifier.createInputAudioTensor()
// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
let audioRecord = try classifier.createAudioRecord()
// Request record permissions from AVAudioSession before invoking audioRecord.startRecording().
AVAudioSession.sharedInstance().requestRecordPermission { granted in
if granted {
DispatchQueue.main.async {
// Start recording the incoming audio samples from the on-device microphone.
try audioRecord.startRecording()
// Load the samples currently held by the audio record buffer into the audio tensor.
try audioTensor.load(audioRecord: audioRecord)
// Run inference
let classificationResult = try classifier.classify(audioTensor: audioTensor)
}
}
}
Hedef C
// Imports
#import <TensorFlowLiteTaskAudio/TensorFlowLiteTaskAudio.h>
#import <AVFoundation/AVFoundation.h>
// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"sound_classification" ofType:@"tflite"];
TFLAudioClassifierOptions *options =
[[TFLAudioClassifierOptions alloc] initWithModelPath:modelPath];
// Configure any additional options:
// options.classificationOptions.maxResults = 3;
TFLAudioClassifier *classifier = [TFLAudioClassifier audioClassifierWithOptions:options
error:nil];
// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
TFLAudioTensor *audioTensor = [classifier createInputAudioTensor];
// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
TFLAudioRecord *audioRecord = [classifier createAudioRecordWithError:nil];
// Request record permissions from AVAudioSession before invoking -[TFLAudioRecord startRecordingWithError:].
[[AVAudioSession sharedInstance] requestRecordPermission:^(BOOL granted) {
if (granted) {
dispatch_async(dispatch_get_main_queue(), ^{
// Start recording the incoming audio samples from the on-device microphone.
[audioRecord startRecordingWithError:nil];
// Load the samples currently held by the audio record buffer into the audio tensor.
[audioTensor loadAudioRecord:audioRecord withError:nil];
// Run inference
TFLClassificationResult *classificationResult =
[classifier classifyWithAudioTensor:audioTensor error:nil];
});
}
}];
TFLAudioClassifier
yapılandırmaya yönelik daha fazla seçenek için kaynak koduna bakın.
Python'da çıkarımı çalıştırma
Adım 1: pip paketini yükleyin
pip install tflite-support
- Linux:
sudo apt-get update && apt-get install libportaudio2
çalıştırın - Mac ve Windows: PortAudio,
tflite-support
pip paketini yüklerken otomatik olarak yüklenir.
Adım 2: Modelin kullanılması
# Imports
from tflite_support.task import audio
from tflite_support.task import core
from tflite_support.task import processor
# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = audio.AudioClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = audio.AudioClassifier.create_from_options(options)
# Alternatively, you can create an audio classifier in the following manner:
# classifier = audio.AudioClassifier.create_from_file(model_path)
# Run inference
audio_file = audio.TensorAudio.create_from_wav_file(audio_path, classifier.required_input_buffer_size)
audio_result = classifier.classify(audio_file)
AudioClassifier
yapılandırmaya yönelik daha fazla seçenek için kaynak koduna bakın.
Çıkarımı C++'da çalıştırma
// Initialization
AudioClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<AudioClassifier> audio_classifier = AudioClassifier::CreateFromOptions(options).value();
// Create input audio buffer from your `audio_data` and `audio_format`.
// See more information here: tensorflow_lite_support/cc/task/audio/core/audio_buffer.h
int input_size = audio_classifier->GetRequiredInputBufferSize();
const std::unique_ptr<AudioBuffer> audio_buffer =
AudioBuffer::Create(audio_data, input_size, audio_format).value();
// Run inference
const ClassificationResult result = audio_classifier->Classify(*audio_buffer).value();
AudioClassifier
yapılandırmaya yönelik daha fazla seçenek için kaynak koduna bakın.
Model uyumluluk gereksinimleri
AudioClassifier
API, zorunlu TFLite Model Meta Verilerine sahip bir TFLite modeli beklemektedir. TensorFlow Lite Meta Veri Yazıcısı API'sini kullanarak ses sınıflandırıcıları için meta veriler oluşturma örneklerine bakın.
Uyumlu ses sınıflandırıcı modelleri aşağıdaki gereksinimleri karşılamalıdır:
Giriş ses tensörü (kTfLiteFloat32)
- boyutunda ses klibi
[batch x samples]
. - toplu çıkarım desteklenmiyor (
batch
1 olması gerekiyor). - çok kanallı modeller için kanalların serpiştirilmesi gerekir.
- boyutunda ses klibi
Çıkış puanı tensörü (kTfLiteFloat32)
-
[1 x N]
dizisiN
ile sınıf numarasını temsil eder. - her satırda bir etiket içeren, TENSOR_AXIS_LABELS tipinde AssociatedFile-s olarak isteğe bağlı (ancak önerilen) etiket eşlemeleri. Bu türden ilk AssociatedFile (varsa), sonuçların
label
alanını (C++'daclass_name
olarak adlandırılır) doldurmak için kullanılır.display_name
alanı, yerel ayarı, oluşturma zamanında kullanılanAudioClassifierOptions
display_names_locale
alanıyla eşleşen AssociatedFile'dan (varsa) doldurulur (varsayılan olarak "en", yani İngilizce). Bunlardan hiçbiri mevcut değilse sadece sonuçlarınindex
alanı doldurulacaktır.
-