AudioSpectrogram

Produz uma visualização de dados de áudio ao longo do tempo.

Os espectrogramas são uma forma padrão de representar informações de áudio como uma série de fatias de informações de frequência, uma fatia para cada janela de tempo. Ao juntá-los em uma sequência, eles formam uma impressão digital distinta do som ao longo do tempo.

Esta operação espera receber dados de áudio como entrada, armazenados como pontos flutuantes no intervalo de -1 a 1, juntamente com uma largura de janela em amostras e um passo especificando até que ponto a janela deve ser movida entre as fatias. A partir disso, ele gera uma saída tridimensional. A primeira dimensão é para os canais na entrada, então uma entrada de áudio estéreo teria dois aqui, por exemplo. A segunda dimensão é o tempo, com sucessivas fatias de frequência. A terceira dimensão possui um valor de amplitude para cada frequência durante esse intervalo de tempo.

Isso significa que o layout, quando convertido e salvo como uma imagem, é girado 90 graus no sentido horário a partir de um espectrograma típico. O tempo desce no eixo Y e a frequência diminui da esquerda para a direita.

Cada valor no resultado representa a raiz quadrada da soma das partes reais e imaginárias de uma FFT na janela atual de amostras. Desta forma, a dimensão mais baixa representa a potência de cada frequência na janela atual, e as janelas adjacentes são concatenadas na próxima dimensão.

Para obter uma visão mais intuitiva e visual do que esta operação faz, você pode executar tensorflow/examples/wav_to_spectrogram para ler um arquivo de áudio e salvar o espectrograma resultante como uma imagem PNG.