AudioSpectrogram

Производит визуализацию аудиоданных с течением времени.

Спектрограммы — это стандартный способ представления аудиоинформации в виде серии срезов частотной информации, по одному срезу для каждого временного окна. Соединяя их вместе в последовательность, они со временем образуют характерный отпечаток звука.

Эта операция предполагает получение аудиоданных в качестве входных данных, хранящихся в виде чисел с плавающей запятой в диапазоне от -1 до 1, вместе с шириной окна в сэмплах и шагом, определяющим, насколько далеко перемещать окно между срезами. На основе этого он генерирует трехмерный результат. Первое измерение предназначено для каналов на входе, поэтому, например, стереофонический аудиовход будет иметь два. Второе измерение — это время с последовательными частотными срезами. Третье измерение имеет значение амплитуды для каждой частоты в течение этого интервала времени.

Это означает, что макет при преобразовании и сохранении в виде изображения поворачивается на 90 градусов по часовой стрелке относительно типичной спектрограммы. Время спускается по оси Y, а частота уменьшается слева направо.

Каждое значение результата представляет собой квадратный корень из суммы действительной и мнимой частей БПФ в текущем окне выборок. Таким образом, наименьшее измерение представляет мощность каждой частоты в текущем окне, а соседние окна объединяются в следующем измерении.

Чтобы получить более интуитивное и наглядное представление о том, что делает эта операция, вы можете запустить tensorflow/examples/wav_to_spectrogram, чтобы прочитать аудиофайл и сохранить полученную спектрограмму как изображение PNG.