AudioSpectrogram

Tạo ra hình ảnh trực quan của dữ liệu âm thanh theo thời gian.

Biểu đồ phổ là một cách tiêu chuẩn để biểu diễn thông tin âm thanh dưới dạng một chuỗi các lát thông tin tần số, một lát cho mỗi cửa sổ thời gian. Bằng cách kết hợp những thứ này lại với nhau thành một chuỗi, chúng tạo thành dấu ấn đặc biệt của âm thanh theo thời gian.

Hoạt động này dự kiến ​​​​sẽ nhận dữ liệu âm thanh dưới dạng đầu vào, được lưu dưới dạng số float trong phạm vi -1 đến 1, cùng với độ rộng cửa sổ trong các mẫu và một bước chỉ định khoảng cách di chuyển cửa sổ giữa các lát. Từ đó nó tạo ra một đầu ra ba chiều. Thứ nguyên đầu tiên dành cho các kênh trong đầu vào, do đó, chẳng hạn như đầu vào âm thanh nổi sẽ có hai kênh ở đây. Chiều thứ hai là thời gian, với các lát tần số liên tiếp. Chiều thứ ba có giá trị biên độ cho mỗi tần số trong lát thời gian đó.

Điều này có nghĩa là bố cục khi được chuyển đổi và lưu dưới dạng hình ảnh sẽ được xoay 90 độ theo chiều kim đồng hồ so với biểu đồ phổ thông thường. Thời gian giảm dần theo trục Y và tần số giảm dần từ trái sang phải.

Mỗi giá trị trong kết quả biểu thị căn bậc hai của tổng phần thực và phần ảo của FFT trên cửa sổ mẫu hiện tại. Bằng cách này, chiều thấp nhất biểu thị sức mạnh của từng tần số trong cửa sổ hiện tại và các cửa sổ liền kề được nối với chiều tiếp theo.

Để có cái nhìn trực quan và trực quan hơn về hoạt động của thao tác này, bạn có thể chạy tensorflow/examples/wav_to_spectrogram để đọc trong tệp âm thanh và lưu biểu đồ phổ thu được dưới dạng hình ảnh PNG.