你还在用关键词匹配？Python 玩转文本聚类 + 相似度搜索，效果直接碾压
说句实话，现在很多系统里的“搜索”和“推荐”，还停留在一个很原始的阶段：
👉 关键词匹配（LIKE / contains）
用户搜：“机器学习入门”
结果返回：“机器维修指南”
你说离谱不离谱。
问题的本质是：系统不理解“语义”。
今天这篇，我们就用 Python，一步步把“文本聚类 + 相似度搜索”这件事讲清楚，而且是能落地的那种。
一、先把问题说清楚：我们到底在做什么？
其实就两件事：
1️⃣ 文本聚类（Clustering）
👉 把“意思相近”的文本自动分到一类
比如：
- “Python入门教程”
- “Python新手学习路径”
- “零基础学Python”
👉 应该归为一类
2️⃣ 相似度搜索（Similarity Search）
👉 给你一段话，找到“最像它”的文本
比如输入：
“如何快速学习Python？”
系统应该返回：
- Python入门教程
- Python学习路线
👉 本质一句话总结：
把“文本”变成“向量”，再用数学解决语义问题。
二、核心思路：文本 → 向量（Embedding）
这是整个技术的灵魂。
方法1：TF-IDF（传统但好用）
from sklearn.feature_extraction.text import TfidfVectorizer
texts = [
"Python入门教程",
"机器学习基础",
"Python学习路径",
"深度学习实战"
]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(texts)
print(X.shape) # (4, N)
👉 每一段文本 → 一个向量
方法2：Sentence-BERT（推荐）
如果你追求效果，建议直接上：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
texts = [
"Python入门教程",
"机器学习基础",
"Python学习路径",
"深度学习实战"
]
embeddings = model.encode(texts)
print(embeddings.shape)
👉 优点：
- 能理解语义
- 效果远强于 TF-IDF
三、文本聚类：让数据“自动分组”
我们直接上最常用的 K-Means。
示例：K-Means 聚类
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=2)
kmeans.fit(embeddings)
labels = kmeans.labels_
for text, label in zip(texts, labels):
print(f"{text} -> 类别 {label}")
👉 输出可能是：
Python入门教程 -> 类别 0
Python学习路径 -> 类别 0
机器学习基础 -> 类别 1
深度学习实战 -> 类别 1
👉 这就实现了：
系统自动帮你“归类内容”
四、相似度搜索：核心是“向量距离”
最常用的是：
👉 余弦相似度（Cosine Similarity）
示例：计算相似度
from sklearn.metrics.pairwise import cosine_similarity
query = "如何学习Python"
query_vec = model.encode([query])
similarities = cosine_similarity(query_vec, embeddings)
for text, score in zip(texts, similarities[0]):
print(f"{text} 相似度: {score:.4f}")
👉 输出类似：
Python入门教程 相似度: 0.82
Python学习路径 相似度: 0.85
机器学习基础 相似度: 0.30
👉 你就可以做：
import numpy as np
top_k = np.argsort(similarities[0])[::-1][:2]
for idx in top_k:
print(texts[idx])
👉 这就是一个最基础的“语义搜索引擎”。
五、进阶：大规模相似度搜索（FAISS）
当数据量上万、百万时，暴力计算就不行了。
👉 这时候要用向量数据库。
示例：使用 FAISS
import faiss
import numpy as np
dim = embeddings.shape[1]
index = faiss.IndexFlatL2(dim)
index.add(np.array(embeddings))
query_vec = model.encode(["Python学习"])
D, I = index.search(np.array(query_vec), k=2)
print(I)
👉 优势：
- 查询速度极快（毫秒级）
- 支持百万级数据
六、实际应用场景（非常重要）
说几个你可以直接落地的👇
1️⃣ 搜索引擎升级
👉 从关键词 → 语义搜索
2️⃣ 内容推荐系统
👉 推荐“相似文章”
3️⃣ 去重 / 聚合
👉 自动识别“重复内容”
4️⃣ 客服问答系统
👉 找“最相似问题”
七、一个很多人忽略的问题：效果 > 技术
很多人会问：
👉 “我该用 TF-IDF 还是 BERT？”
我给你一个很真实的答案：
✔ 如果你是：
- 小项目
- 数据少
- 对精度要求不高
👉 用 TF-IDF 就够了
✔ 如果你是：
- 搜索 / 推荐系统
- 用户体验重要
- 数据复杂
👉 直接上 Sentence-BERT
👉 记住一句话：
不要用“最牛的技术”，要用“最合适的技术”。
八、我的一点个人经验（很重要）
我做过不少文本类系统，踩过几个坑：
❌ 误区1：只关注模型
👉 实际上：
- 数据清洗更重要
- 分词质量更关键
❌ 误区2：忽略向量归一化
from sklearn.preprocessing import normalize
embeddings = normalize(embeddings)
👉 会显著提升相似度效果
❌ 误区3：不做评估
👉 一定要：
- 人工标注样本
- 对比效果
九、总结一下（给你一条清晰路线）
文本 → 向量化（TF-IDF / BERT）
→ 聚类（KMeans）
→ 相似度计算（Cosine）
→ 向量索引（FAISS）
最后一句话
很多人以为：
👉 “AI 很复杂”
但其实：
很多“智能系统”的本质，只是把问题从“字符串”变成“向量”。
一旦你理解了这一点，
文本搜索、推荐、聚类——全都通了。
