本文介绍了一种基于预训练音频编码器结合深度学习神经网络进行音频特征提取与分类的方法。通过加载 Kaggle 风格的音乐流派数据集，利用 audiodiffusion 模型将音频文件转换为 100 维特征向量，替代传统人工特征筛选。随后使用 Keras 构建全连接神经网络进行分类训练，经过标准化处理和交叉熵损失优化，最终实现了比传统方法更高的准确率。文章详细阐述了数据预处理、模型架构设计及训练评估的全过程，为音频信号处理提供了实用的技术参考。
在早期的音频处理任务中，我们通常依赖人工设计的特征（如 MFCC、频谱质心等）结合传统机器学习算法进行分类。然而，随着深度学习技术的普及，端到端的特征学习方法逐渐展现出更强的泛化能力和更高的准确率。本文介绍了一种使用预训练音频编码器结合全连接神经网络进行音频特征提取与流派分类的完整流程。
本教程使用的数据集来源于 Kaggle 音乐流派分类竞赛数据，包含多种音乐风格，如蓝调（Blues）、古典（Classical）、乡村（Country）、迪斯科（Disco）、嘻哈（HipHop）、爵士（Jazz）、金属（Metal）、流行（Pop）、雷鬼（Reggae）和摇滚（Rock）。
数据目录结构如下：
./genres/
├── blues/
│ ├── blues.00043.au
│ └── ...
├── classical/
└── ...
每个子文件夹代表一个类别，内部存放对应的音频文件。相比传统方法需要手动筛选特征，深度学习模型能够自动从原始波形或频谱中学习高维抽象特征。
我们采用了一个预训练的音频编码器模型 teticio/audio-encoder。该模型能够将音频文件编码为 100 维的特征向量。这种嵌入表示（Embedding）捕捉了音频的语义信息，比手工特征更具鲁棒性。
首先导入必要的库并初始化编码器。
from audiodiffusion.audio_encoder import AudioEncoder
import numpy as np
# 加载预训练模型
audio_encoder = AudioEncoder.from_pretrained("teticio/audio-encoder")
# 测试单个文件编码
sample_audio = "./genres/blues/blues.00043.au"
encoded_vector = audio_encoder.encode([sample_audio]).numpy()[0].tolist()
print(f"特征维度：{len(encoded_vector)}")
输出显示音频被成功转换为 100 维浮点数向量。这一过程将不同长度的音频统一映射到固定长度的空间，便于后续模型处理。
为了构建完整的训练集，我们需要遍历所有类别文件夹，提取特征并生成标签。
import os
from sklearn.preprocessing import StandardScaler
from keras.utils import to_categorical
# 定义类别列表
genres = 'blues classical country disco hiphop jazz metal pop reggae rock'.split()
# 建立标签映射
label2id = {genre: i for i, genre in enumerate(genres)}
id2label = {i: genre for i, genre in enumerate(genres)}
print(f"标签映射：{label2id}")
data_set = []
label_set = []
# 遍历所有类别
for g in genres:
folder_path = f'./genres/{g}/'
if not os.path.exists(folder_path):
continue
print(f"正在处理类别：{g}")
for filename in os.listdir(folder_path):
if filename.endswith(('.au', '.wav', '.mp3')):
songname = os.path.join(folder_path, filename)
# 编码音频
try:
vec = audio_encoder.encode([songname]).numpy()[0].tolist()
data_set.append(vec)
label_set.append(label2id[g])
except Exception as e:
print(f"跳过文件 {filename}: {e}")
print(f"总样本数：{len(data_set)}")
在此步骤中，我们收集了约 1000 条有效数据，涵盖 10 个音乐流派类别。
深度学习模型对输入数据的分布敏感，因此需要进行标准化处理。同时，标签需要转换为 One-Hot 编码格式以适配多分类损失函数。
# 转换为 NumPy 数组
X = np.array(data_set, dtype=float)
y = np.array(label_set)
# 特征标准化 (Standardization)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 标签独热编码 (One-Hot Encoding)
y_onehot = to_categorical(y, num_classes=10)
print(f"特征形状：{X_scaled.shape}")
print(f"标签形状：{y_onehot.shape}")
标准化确保了每个特征维度具有零均值和单位方差，加速模型收敛。独热编码将整数标签转换为概率分布形式，例如类别 0 表示为 [1, 0, 0, ..., 0]。
基于提取的 100 维特征向量，我们构建一个简单但高效的全连接神经网络（MLP）进行分类。
模型包含三个隐藏层，分别有 256、128 和 64 个神经元，激活函数选用 ReLU。为了防止过拟合，我们在倒数第二层加入了 Dropout 正则化。输出层使用 Softmax 激活函数，输出 10 个类别的概率分布。
from keras import models
from keras.layers import Dense, Dropout
input_dim = X_scaled.shape[1]
def create_model():
model = models.Sequential()
model.add(Dense(256, activation='relu', input_shape=(input_dim,)))
model.add(Dense(128, activation='relu'))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5)) # 随机丢弃 50% 的神经元以防止过拟合
model.add(Dense(10, activation='softmax')) # 10 个类别
return model
model = create_model()
model.summary()
使用 Adam 优化器，配合 Categorical Crossentropy 损失函数，监控 Accuracy 指标。
model.compile(optimizer='adam',
loss='categorical_crossentropy',
metrics=['accuracy'])
# 划分训练集和验证集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X_scaled, y_onehot, test_size=0.2, random_state=42
)
# 开始训练
history = model.fit(
X_train, y_train,
epochs=50,
batch_size=128,
validation_split=0.1,
verbose=1
)
训练过程中，模型会逐步调整权重以最小化预测误差。通过观察训练集和验证集的 Loss 曲线，可以判断是否存在过拟合现象。
训练完成后，在测试集上评估模型性能。
test_loss, test_acc = model.evaluate(X_test, y_test)
print(f'Test accuracy: {test_acc:.4f}')
实验结果显示，基于深度学习的特征提取方法在准确率上优于传统的人工特征筛选方法。这主要得益于预训练编码器已经学习了丰富的音频语义信息，无需针对特定任务重新设计特征工程。
本文演示了如何使用 Python 和深度学习框架快速构建音频分类系统。核心流程包括：
未来可以尝试引入卷积神经网络（CNN）处理频谱图，或使用循环神经网络（RNN/LSTM）处理时序信息，进一步提升复杂场景下的识别精度。此外，增加数据增强策略（如添加噪声、变速）也能有效提高模型的鲁棒性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online