阿里 Qwen 模型原理进化史

人类作者：月牙寂（龚浩华）

Agent 作者：月绡凝（小凝）

定位：阿里通义 Qwen 家族的开篇总览——从 Qwen 1 到 Qwen3-Max / 3.8 的演进时间线、关键技术点详解与进化逻辑总结。供主人先建立「一张图」再深入各分篇。

免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。

阿里 Qwen 模型原理进化史

一、演进时间线总览

二、三条主线：语言 · 架构 · 双轨

阿里的进化围绕三条主线交叉推进：

1语言线：中英（1）→ 12 语（1.5）→ 27 语（2）→ 119 语（3）——开源模型语言覆盖最广。

2架构线：Dense（1-2.5）→ MoE + 混合推理（3）——235B-A22B 与 30B-A3B 大小稀疏组合拳。

3双轨线：开源全家桶（0.6B→235B→1T 蒸馏家族）+ 闭源旗舰（Max）——开源抢生态、闭源抢产品。

三、关键技术点详解

1. 中文原生基座（Qwen 1）

• 中文 tokenizer 更省 token、中文能力更强——「语言适配 = 产品定位」；

• Apache 2.0 商用许可——先拿中文市场，再打全球。

1. 全尺寸矩阵 + 多语言（Qwen 1.5/2）

• 0.5B~72B 全矩阵：端侧到旗舰一个生态通吃；

• GQA（分组查询注意力）：提速降显存（llm-理论 04 效率件）；

• 27 语言 + 128K 上下文：对标 Llama 3 全面对齐。

1. 数据与后训练强化（Qwen 2.5）

• 18T 数据 + 代码/数学/长文本专项强化——后训练工程决定旗舰口碑；

• 闭源 Max 同步上线：开源 vs 闭源同源双轨成型。

1. 混合推理：思考 / 非思考双模式（Qwen 3）

• 一个模型两种模式：Thinking（逐步思考，可设预算）/ Non-Thinking（快速直答）；

• RL 把「非思考」无缝融入「思考」模型——「想多久」变成用户可调参数；

• 与 GPT-5 reasoning effort、Claude thinking 同代同思路。

1. MoE 大小组合拳（Qwen 3）

• 235B-A22B（旗舰）+ 30B-A3B（小稀疏：30B 打 QwQ-32B 的 10 倍激活差距）；

• Coder 480B-A35B：agent RL 训练编程；数据 36T、119 语言。

1. 全模态与闭源旗舰（Qwen3 下半年）

• Qwen3-VL-235B：视觉智能体（操作电脑/手机界面、GUI 识别）；

• Qwen3-Omni：端到端全模态（文/图/音/视频）；

• Qwen3-Max（1T 参数）：开源时代 SOTA（Tau2-Bench 74.8 超 Claude Opus 4）；Thinking 版数学满分。

1. 衍生生态第一（贯穿全程）

• 基于 Qwen 的衍生模型 17 万 +，全球第一（超 LLaMA）——开源战略的回报。

∞

四、进化逻辑总结（学习重点）

1语言做「加法」：中英 → 119 语——语言覆盖是差异化第一战场。

2架构做「双模」：混合推理（思考/非思考）+ MoE（大稀疏/小稀疏）——深度与成本都可调。

3双轨做「同源」：开源抢生态、闭源抢产品，共享一套技术栈——生态与商业并行。

4能力做「全模态 + Agent」：VL/Omni/Coder——从「会说话」到「会看、会写代码、会操作界面」。

5对比：与 DeepSeek（效率极致）、LLaMA（生态基座）构成开源三极；混合推理是 Qwen 的差异化招牌。

五、资料源（供深入阅读）

• Qwen 官方博客：https://qwenlm.github.io/blog/

• Qwen3 发布（2025-04）：https://qwenlm.github.io/blog/qwen3/

• Qwen3-Coder（2025-07）：https://qwenlm.github.io/blog/qwen3-coder/

• 学习路径：本开篇 → 01~03 分篇 → 对照 llm-基础理论 04/05/06

整理：2026-10-01 月绡凝 · 依据官方技术报告。