Python音频处理-频谱图实现

简介: 本教程介绍如何使用 PyTorch 提取音频特征,重点实现频谱图的生成。内容包括使用 torchaudio 进行频谱提取、频谱图维度解析、手动实现频谱计算步骤,并对两种方法的结果进行对比分析,展示其差异与实现细节。

参考 pytorch 音频特征提取教程:

https://docs.pytorch.org/audio/stable/tutorials/audio_feature_extractions_tutorial.html

准备

from IPython.display import Audio
from torchaudio.utils import download_asset
from librosa import power_to_db
import matplotlib.pyplot as plt
import numpy as np
import torchaudio

# 基本参数
n_fft = 512
hop_length = 512

# 示例音频
sample_speech = download_asset(
    "tutorial-assets/Lab41-SRI-VOiCES-src-sp0307-ch127535-sg0042.wav"
)

# 提取频谱
waveform, sample_rate = torchaudio.load(sample_speech)
print(waveform.shape)
print(sample_rate)

torchaudio实现

spectrogram = torchaudio.transforms.Spectrogram(
    n_fft=n_fft,
    hop_length=hop_length
)
spec = spectrogram(waveform)
spec.shape

torch.Size([1, 257, 107])

频谱有三个维度:

通道域: 单声道即为1,双声道即为2

频率域: n_fft // 2 + 1

时间域: (总采样数 / 窗口长度(win_length)) + 1 (默认每次移动半个窗口)

# 绘制波形和频谱图
_, axs = plt.subplots(2, 1)
axs[0].plot(waveform[0])
axs[1].imshow(
    power_to_db(spec[0]), 
    origin='lower', 
    aspect='auto', 
    interpolation='nearest'
)
plt.tight_layout()
plt.show()

image.png

自实现

实现频谱图计算一般包括一下步骤:

  • 1、计算帧数。时间维度的长度。
  • 2、扩展信号。如果不满足整数帧的长度,需要扩展原始信号满足长度。
  • 3、分帧。
  • 4、快速傅里叶变换。
# 手动实现频谱计算
def my_spectrogram(signal, n_fft=512, hop_length=512):
    # 数组转换
    signal = np.asarray(signal)
    # 计算帧数
    signal_length = len(signal)
    num_frames = int(np.ceil(signal_length / hop_length))
    # 扩展信号
    pad_length = (num_frames - 1) * hop_length + n_fft - signal_length
    signal = np.pad(
        signal,
        (0, pad_length),
        mode='constant'
    )
    # 分帧
    frames = np.lib.stride_tricks.sliding_window_view(
        signal,
        window_shape=n_fft
    )[::hop_length]
    # 加窗
    window = np.hanning(n_fft)
    frames = frames * window
    # 快速傅里叶变换
    fft_result = np.fft.fft(frames, axis=1)
    magnitude_spectrum = np.abs(fft_result) ** 2
    # 对称处理
    magnitude_spectrum = magnitude_spectrum[:, : n_fft//2 + 1]
    return magnitude_spectrum
# 计算频谱
my_spec = my_spectrogram(waveform[0].numpy())
my_spec.shape

(107, 257)

对比两个频谱

# 绘制波形和频谱图
_, axs = plt.subplots(2, 1)
axs[0].imshow(
    power_to_db(spec[0]), 
    origin='lower', 
    aspect='auto', 
    interpolation='nearest'
)
axs[1].imshow(
    power_to_db(my_spec.T), 
    origin='lower', 
    aspect='auto', 
    interpolation='nearest'
)
plt.tight_layout()
plt.show()

image.png

如上图,频谱图,肉眼看不出什么较大差别。

但是mse差异较大:

# 计算两个频谱差距
import torch
mse = torch.square(spec[0] - my_spec.T).mean().item()
mse

604.3883183638077

相关文章
|
语音技术 Python
在语音信号处理中,预加重
在语音信号处理中,预加重
1387 2
|
负载均衡 监控 算法
实现负载均衡策略:优化系统性能与可用性
实现负载均衡策略:优化系统性能与可用性
|
Python
Python音频特征-梅尔滤波器
梅尔滤波器组是一种基于梅尔刻度的三角滤波器组,常用于音频信号处理。其构建步骤包括:获取梅尔刻度的范围、生成梅尔刻度序列、构建三角滤波器组并进行归一化处理。梅尔刻度反映了人耳对频率的感知特性,能更有效地表示音频特征。
597 0
|
4月前
|
人工智能 自然语言处理 API
阿里云百炼大模型服务平台文本、图像、音频、视频等主要模型与能力介绍
阿里云百炼是一站式全模态大模型服务平台,打通通义千问全系自研模型与DeepSeek、Kimi、智谱AI等头部第三方模型的统一调用通道,无需适配多套接口,即可覆盖文本、图像、音视频、3D资产、音频语音等全链路AI生产需求。平台内Qwen3.7-Max、DeepSeek-v4-Pro等旗舰模型适配复杂推理与智能体任务,万相、HappyHorse系列支持高清图像与流畅视频生成,Tripo模型实现高精度3D资产快速构建,语音与音乐类模型覆盖多语种合成、实时识别等场景。当前新用户开通即可免费领取超7000万Tokens,90天超长有效期,大幅降低多模态AI应用的搭建门槛与探索成本。
|
11月前
|
云安全 人工智能 自然语言处理
|
机器学习/深度学习 人工智能 编解码
7种常见鸟类分类图像数据集(8000张图片已划分)|AI训练适用于目标检测任务
本数据集包含8000张7类常见鸟类图像,涵盖麻雀、鸽子、乌鸦等,已划分训练与验证集,适用于AI目标检测与分类任务,支持YOLO、ResNet等模型,助力生态监测与科研教学。
7种常见鸟类分类图像数据集(8000张图片已划分)|AI训练适用于目标检测任务
|
存储 数据采集 人工智能
切块、清洗、烹饪:RAG知识库构建的三步曲
大语言模型明明已经喂了大量文档,为什么还是答非所问?就像米其林厨师需要精心处理食材,RAG系统也需要巧妙处理文档。从文本分块、清洗到结构化索引,这些不起眼的处理步骤决定了AI回答质量的上限。掌握这些技巧,让你的RAG系统从「路边摊」蜕变为「米其林餐厅」。
2150 3
|
机器学习/深度学习 人工智能 自然语言处理
Dolphin:40语种+22方言!清华联合海天瑞声推出的语音识别大模型,识别精度超Whisper两代
Dolphin是清华大学与海天瑞声联合研发的语音识别大模型,支持40种东方语言和22种中文方言,采用CTC-Attention混合架构,词错率显著低于同类模型。
6102 50
Dolphin:40语种+22方言!清华联合海天瑞声推出的语音识别大模型,识别精度超Whisper两代
|
编译器 开发工具 C++
【Python】已解决error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build
【Python】已解决error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build
9024 0