AudioSpectrogram

Zaman içinde ses verilerinin görselleştirilmesini sağlar.

Spektrogramlar, ses bilgisini, her zaman penceresi için bir dilim olmak üzere, bir dizi frekans bilgisi dilimleri olarak temsil etmenin standart bir yoludur. Bunları bir dizi halinde birleştirerek zaman içinde sesin ayırt edici bir parmak izini oluştururlar.

Bu operasyon, -1 ila 1 aralığında kayan nokta olarak saklanan ses verilerini, örneklerdeki pencere genişliği ve pencerenin dilimler arasında ne kadar uzağa taşınacağını belirten bir adımla birlikte bir giriş olarak almayı bekler. Bundan üç boyutlu bir çıktı üretir. İlk boyut girişteki kanallar içindir, dolayısıyla stereo ses girişinde örneğin burada iki tane bulunur. İkinci boyut, birbirini takip eden frekans dilimleriyle zamandır. Üçüncü boyut, o zaman dilimindeki her frekans için bir genlik değerine sahiptir.

Bu, görüntü olarak dönüştürülüp kaydedildiğinde düzenin tipik bir spektrogramdan saat yönünde 90 derece döndürüldüğü anlamına gelir. Zaman Y ekseninde aşağı doğru iniyor ve frekans soldan sağa doğru azalıyor.

Sonuçtaki her değer, örneklerin geçerli penceresindeki bir FFT'nin gerçek ve sanal kısımlarının toplamının karekökünü temsil eder. Bu şekilde en düşük boyut, geçerli penceredeki her frekansın gücünü temsil eder ve bitişik pencereler bir sonraki boyutta birleştirilir.

Bu işlemin ne yaptığına daha sezgisel ve görsel bir bakış sağlamak için tensorflow/examples/wav_to_spectrogram komutunu çalıştırarak bir ses dosyasını okuyabilir ve elde edilen spektrogramı PNG görüntüsü olarak kaydedebilirsiniz.