别只盯着模型参数了：聊聊多模态时代最容易被忽视的一件事——训练数据准备
很多人一聊 AI 多模态，第一反应就是：
“模型多大？”
“参数多少？”
“是不是用了 Transformer + Diffusion + RLHF？”
但说句大实话：
模型只是厨师，数据才是食材。
如果食材本身不新鲜，再厉害的厨师也做不出米其林。
这几年我做大数据和 AI 项目，最大的感触其实就一句话：
多模态 AI 的核心不是模型，而是数据工程。
尤其是 文本 + 图像 + 音频 三种数据混合的时候，真正难的其实不是训练，而是 数据准备（Data Preparation）。
今天咱就聊聊：
多模态训练数据到底是怎么准备出来的。
尽量不装学术，咱用工程视角聊点实在的。
一、多模态训练的本质：让不同数据“说同一种语言”
先看一个典型训练样本：
图片: 一只猫坐在键盘上
文本: "A cat sitting on a keyboard"
音频: "a_cat_on_keyboard.wav"
对于模型来说，这三样东西其实是：
image -> tensor
text -> token
audio -> spectrogram
但关键问题来了：
如何保证这三样数据描述的是同一个东西？
这就是多模态数据工程的核心：
跨模态对齐（Cross-modal Alignment）
也就是：
文本 <-> 图像 <-> 音频
必须是 语义一致 的。
否则模型学到的就是：
狗 -> 猫
猫 -> 飞机
飞机 -> 苹果
模型就彻底疯了。
二、多模态数据准备的第一步：统一数据结构
在真实工程里，我们一般先做 统一数据Schema。
比如：
{
"id": "sample_001",
"text": "a dog barking",
"image_path": "images/dog_001.jpg",
"audio_path": "audio/dog_bark.wav",
"source": "web_dataset"
}
这样做有两个好处：
1️⃣ 数据可扩展
2️⃣ 数据可追溯
接下来我们用 Python 做个简单数据读取器。
import json
def load_dataset(path):
dataset = []
with open(path, "r", encoding="utf-8") as f:
for line in f:
sample = json.loads(line)
dataset.append(sample)
return dataset
data = load_dataset("multimodal_dataset.jsonl")
print("dataset size:", len(data))
print(data[0])
工程里一般用：
- JSONL
- Parquet
- TFRecord
大规模数据一般都会转 Parquet，因为列式存储更适合大数据分析。
三、文本数据清洗：AI 世界的“扫地阿姨”
文本数据其实最脏。
互联网文本通常长这样：
Buy cheap shoes now!!!
CLICK HERE!!!
www.xxxx.com
如果这些数据进了训练集：
恭喜你，你的 AI 可能学会 疯狂打广告。
所以必须清洗。
示例代码：
import re
def clean_text(text):
# 去URL
text = re.sub(r"http\S+", "", text)
# 去HTML
text = re.sub(r"<.*?>", "", text)
# 去多余空格
text = re.sub(r"\s+", " ", text)
return text.strip()
text = "Buy cheap shoes now!!! http://spam.com"
print(clean_text(text))
真实工程里还会做：
- 语言检测
- 去重
- toxic 内容过滤
- 低质量文本过滤
比如：
重复率 > 0.9
句子长度 < 3
这些都要过滤。
四、图像数据准备：不只是 resize
很多人以为图像处理就是：
resize -> normalize
其实远不止。
我们一般会做：
- 图像质量检测
- 去重
- NSFW 过滤
- OCR 检测
举个例子：
用 Python 批量 resize 图像。
from PIL import Image
import os
def resize_image(path, size=(224,224)):
img = Image.open(path)
img = img.resize(size)
return img
img = resize_image("dog.jpg")
img.save("dog_resized.jpg")
但真正的大规模图像处理一般用：
- Spark
- Ray
- Dask
比如：
10亿张图像
单机跑根本不现实。
五、音频数据处理：把声音变成可学习的数据
音频数据通常要转成：
Mel Spectrogram
因为神经网络更擅长处理图像型结构。
示例代码：
import librosa
import numpy as np
def audio_to_mel(path):
y, sr = librosa.load(path, sr=16000)
mel = librosa.feature.melspectrogram(
y=y,
sr=sr,
n_mels=128
)
return mel
mel = audio_to_mel("dog_bark.wav")
print(mel.shape)
这样：
audio -> spectrogram
就变成了类似图像的二维矩阵。
模型就能学了。
六、多模态数据的真正难点：对齐
最麻烦的其实是 数据对齐。
比如：
image: dog.jpg
text: "a dog running"
audio: "dog_bark.wav"
如果配错：
image: dog
text: "a plane"
audio: baby crying
模型就会崩。
所以大厂都会做：
自动对齐 + 人工校验
一个简单例子：
用 CLIP 做相似度过滤。
import torch
import clip
from PIL import Image
model, preprocess = clip.load("ViT-B/32")
def check_alignment(image_path, text):
image = preprocess(Image.open(image_path)).unsqueeze(0)
text_tokens = clip.tokenize([text])
with torch.no_grad():
image_features = model.encode_image(image)
text_features = model.encode_text(text_tokens)
similarity = torch.cosine_similarity(
image_features,
text_features
)
return similarity.item()
score = check_alignment("dog.jpg", "a dog running")
print("similarity:", score)
如果相似度低：
score < 0.2
我们就可以 自动过滤。
七、大模型时代：数据工程师越来越重要
很多人觉得：
未来 AI 世界是 模型工程师的天下。
但我越来越觉得：
真正的核心岗位，其实是数据工程师。
为什么？
因为：
模型 -> 开源越来越多
数据 -> 永远是稀缺资源
真正的护城河其实是：
高质量数据管道
包括：
- 数据采集
- 数据清洗
- 数据标注
- 数据对齐
- 数据版本管理
这些东西看起来不起眼。
但没有它们：
再强的模型也没用。
最后聊点我的真实感受
这些年做 AI 项目，我越来越有一个感触：
很多团队把 90%精力放在模型。
但真正决定效果的往往是：
数据质量
就像种地。
大家都在研究：
拖拉机多先进
但真正决定收成的其实是：
土壤
而 数据工程师，其实就是 AI 世界里的 农民。
没有他们：
再牛的算法，都是空中楼阁。
