অডিও ক্লাসিফায়ার একত্রিত করুন

অডিও শ্রেণীবিভাগ শব্দের প্রকারগুলিকে শ্রেণীবদ্ধ করতে মেশিন লার্নিং-এর একটি সাধারণ ব্যবহার। উদাহরণস্বরূপ, এটি তাদের গানের মাধ্যমে পাখির প্রজাতি সনাক্ত করতে পারে।

টাস্ক লাইব্রেরি অডিও AudioClassifier API আপনার মোবাইল অ্যাপে আপনার কাস্টম অডিও ক্লাসিফায়ার বা পূর্বপ্রশিক্ষিতগুলি স্থাপন করতে ব্যবহার করা যেতে পারে।

AudioClassifier API-এর মূল বৈশিষ্ট্য

• ইনপুট অডিও প্রক্রিয়াকরণ, যেমন PCM 16 বিট এনকোডিংকে PCM ফ্লোট এনকোডিং-এ রূপান্তর করা এবং অডিও রিং বাফারের ম্যানিপুলেশন।

• মানচিত্র লোকেল লেবেল করুন।

• মাল্টি-হেড ক্লাসিফিকেশন মডেলকে সমর্থন করে।

• একক-লেবেল এবং মাল্টি-লেবেল উভয় শ্রেণিবিন্যাস সমর্থন করে।

• ফলাফল ফিল্টার করতে স্কোর থ্রেশহোল্ড।

• টপ-কে শ্রেণীবিভাগের ফলাফল।

• লেবেল অনুমোদিত তালিকা এবং অস্বীকৃত তালিকা.

সমর্থিত অডিও ক্লাসিফায়ার মডেল

নিম্নলিখিত মডেলগুলি AudioClassifier API-এর সাথে সামঞ্জস্যপূর্ণ হওয়ার গ্যারান্টিযুক্ত৷

• অডিও শ্রেণীবিভাগের জন্য TensorFlow Lite Model Maker দ্বারা তৈরি মডেলগুলি৷

• TensorFlow Hub-এ পূর্বপ্রশিক্ষিত অডিও ইভেন্ট শ্রেণীবিভাগের মডেল ।

• কাস্টম মডেল যা মডেল সামঞ্জস্যের প্রয়োজনীয়তা পূরণ করে।

জাভাতে অনুমান চালান

একটি Android অ্যাপে AudioClassifier ব্যবহার করে উদাহরণের জন্য অডিও ক্লাসিফিকেশন রেফারেন্স অ্যাপটি দেখুন।

ধাপ 1: Gradle নির্ভরতা এবং অন্যান্য সেটিংস আমদানি করুন

.tflite মডেল ফাইলটি Android মডিউলের সম্পদ ডিরেক্টরিতে অনুলিপি করুন যেখানে মডেলটি চালানো হবে৷ নির্দিষ্ট করুন যে ফাইলটি সংকুচিত করা উচিত নয় এবং মডিউলের build.gradle ফাইলে TensorFlow Lite লাইব্রেরি যোগ করুন:

android {
    // Other settings

    // Specify that the tflite file should not be compressed when building the APK package.
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Audio Task Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-audio:0.4.0'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.0'
}

ধাপ 2: মডেল ব্যবহার

// Initialization
AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
AudioClassifier classifier =
    AudioClassifier.createFromFileAndOptions(context, modelFile, options);

// Start recording
AudioRecord record = classifier.createAudioRecord();
record.startRecording();

// Load latest audio samples
TensorAudio audioTensor = classifier.createInputTensorAudio();
audioTensor.load(record);

// Run inference
List<Classifications> results = audioClassifier.classify(audioTensor);

AudioClassifier কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোড এবং javadoc দেখুন।

পাইথনে অনুমান চালান

ধাপ 1: পাইপ প্যাকেজ ইনস্টল করুন

pip install tflite-support

• লিনাক্স: চালান sudo apt-get update && apt-get install libportaudio2
• ম্যাক এবং উইন্ডোজ: tflite-support পিপ প্যাকেজ ইনস্টল করার সময় পোর্টঅডিও স্বয়ংক্রিয়ভাবে ইনস্টল হয়।

ধাপ 2: মডেল ব্যবহার

# Imports
from tflite_support.task import vision
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = audio.AudioClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = audio.AudioClassifier.create_from_options(options)

# Alternatively, you can create an audio classifier in the following manner:
# classifier = audio.AudioClassifier.create_from_file(model_path)

# Run inference
audio_file = audio.TensorAudio.create_from_wav_file(audio_path, classifier.required_input_buffer_size)
audio_result = classifier.classify(audio_file)

AudioClassifier কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোড দেখুন।

C++ এ অনুমান চালান

// Initialization
AudioClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<AudioClassifier> audio_classifier = AudioClassifier::CreateFromOptions(options).value();

// Create input audio buffer from data.
int input_buffer_size = audio_classifier->GetRequiredInputBufferSize();
const std::unique_ptr<AudioBuffer> audio_buffer =
    AudioBuffer::Create(audio_data.get(), input_buffer_size, kAudioFormat).value();

// Run inference
const ClassificationResult result = audio_classifier->Classify(*audio_buffer).value();

AudioClassifier কনফিগার করার জন্য আরও বিকল্পের জন্য সোর্স কোড দেখুন।

মডেল সামঞ্জস্যের প্রয়োজনীয়তা

AudioClassifier API বাধ্যতামূলক TFLite মডেল মেটাডেটা সহ একটি TFLite মডেল আশা করে। TensorFlow Lite Metadata Writer API ব্যবহার করে অডিও ক্লাসিফায়ারের জন্য মেটাডেটা তৈরির উদাহরণ দেখুন।

সামঞ্জস্যপূর্ণ অডিও ক্লাসিফায়ার মডেলগুলির নিম্নলিখিত প্রয়োজনীয়তাগুলি পূরণ করা উচিত:

• ইনপুট অডিও টেনসর (kTfLiteFloat32)

  • আকারের অডিও ক্লিপ [batch x samples] ।
  • ব্যাচ অনুমান সমর্থিত নয় ( batch 1 হতে হবে)।
  • মাল্টি-চ্যানেল মডেলের জন্য, চ্যানেলগুলিকে ইন্টারলিভ করা দরকার।

• আউটপুট স্কোর টেনসর (kTfLiteFloat32)

  • N এর সাথে [1 x N] N শ্রেণী সংখ্যা প্রতিনিধিত্ব করে।
  • ঐচ্ছিক (কিন্তু প্রস্তাবিত) লেবেল মানচিত্র(গুলি) AssociatedFile-s টাইপ TENSOR_AXIS_LABELS সহ, প্রতি লাইনে একটি লেবেল রয়েছে। ফলাফলের label ক্ষেত্র (C++-এ class_name হিসাবে নামকরণ করা হয়েছে) পূরণ করতে প্রথম যেমন AssociatedFile (যদি থাকে) ব্যবহার করা হয়। display_name ক্ষেত্রটি AssociatedFile (যদি থাকে) থেকে পূর্ণ হয় যার লোকেলটি তৈরির সময় ব্যবহৃত AudioClassifierOptions এর display_names_locale ক্ষেত্রের সাথে মেলে ("en" ডিফল্টরূপে, যেমন ইংরেজি)। যদি এইগুলির কোনটিই পাওয়া না যায়, শুধুমাত্র ফলাফলের index ক্ষেত্রটি পূরণ করা হবে।