👀 欢迎来到「端侧AI创新挑战赛」官方教程第一期
本期挑战赛旨在探索 Qwen 系列模型在手机、PC、嵌入式设备等端侧场景中的多样化落地可能。无论你是开发者、创作者,还是对本地 AI 感兴趣的普通用户,都可以通过本次赛事动手实践,打造属于自己的“私人AI助手”。
今天,我们就从最轻量、最友好的入门方式开始——教你如何在个人电脑上本地部署 Qwen3-0.6B 模型,无需联网、无需代码,几分钟即可体验“数据不出设备”的高效AI交互!
本地部署是一种更主动、更灵活的AI使用方式。它让你真正把智能“装进自己的设备”,特别适合以下场景:
- 在无网络环境中依然高效使用 AI(如出差、户外、内网办公);
- 处理高敏感内容(如创作草稿、内部文档、个人笔记),确保信息全程保留在本地;
- 追求极致响应速度或希望深度定制模型行为的开发者与创作者。
随着 Qwen 等轻量开源模型的成熟,本地运行大模型已不再是技术专家的专属。普通用户也能轻松上手,开启“私有AI”新体验。
而这,正是本次「端侧AI创新挑战赛」希望激发的方向:让大模型真正跑在你的设备上,为你所用、由你定义。
通义千问为大家提供了丰富的开源模型以供选择,Qwen3、Qwen3-VL、Qwen3-Omni......
本期教程选择 Qwen3-0.6B,并非唯一推荐,而是因其体积小(不到500MB)、CPU 即可运行、部署门槛极低,非常适合首次尝试本地部署的用户。
💡 小贴士:如果你使用的是 Intel Core Ultra 等高性能设备,也欢迎尝试 Qwen3-4B 或结合 OpenVINO 加速,冲击「Intel AI PC 创新赛道」!
5 分钟上手用 Ollama 零代码部署
Qwen 系列模型支持多种部署方式,本期教程采用 Ollama 作为演示工具,便于零代码快速体验本地运行效果。
🟣 第一步:安装 Ollama
访问官网:https://ollama.com/,根据提示找到适合自己电脑系统的版本,点击下载,(Windows 需 Win10 及以上);
下载完成后运行会弹出安装页面,点击“Install”,然后一路点击“下一步”等待安装完成即可。
🟣 第二步:运行 Qwen3-0.6B
安装成功后,Ollama 会自动启动并在后台运行,你可以通过终端(Windows 可使用 PowerShell 或 CMD)调用模型。
Ollama 的可视化界面中默认展示的 Qwen3 系列模型,通常从 4B 起(如 qwen3:4b、qwen3:8b)。
至于那些列表里没有的模型,咱们只需要在列表搜索完整的模型名称就能检索出来了,比如搜索“qwen3:0.6b”👇
首次运行时,系统会自动从 Ollama 模型库下载该模型。Qwen3-0.6B 体积不到 500MB,普通网络环境下通常一分钟内即可完成下载。
📌 提示:你也可以在 Ollama 官方模型页面查看 Qwen3 全系列模型列表:
https://ollama.com/library/qwen3
模型加载完成后,即可直接与本地 AI 对话,例如:以流浪地球为主题,帮我写一篇2000字的小说。
此时,所有输入与输出均在本地设备完成,无需联网。得益于本地推理的低延迟特性,即使是生成较长内容(如千字短文),也能获得流畅响应——这种“数据不出设备、响应即时可控”的体验,正是端侧 AI 的独特优势。
恭喜你!至此,你已经成功在本地部署了通义千问模型,正式踏入了端侧 AI 的世界。
现在,是时候把你的实践变成作品——无论你是在 PC、手机、树莓派,还是任何终端设备上跑起了 Qwen,无论你的应用是一个成熟方案还是一个有趣的小实验,都欢迎提交到「端侧AI创新挑战赛」!
钉钉扫码,提交创意表单!
💬 今日福利
提交创意报名表,分享你的参赛项目,越详细越好(如:模型选择、项目介绍、架构图......)我们将会从中抽取10位用户送出通义定制帆布袋,获奖名单将会在挑战赛群揭晓~
活动截止时间:2025年10月25日17:00