👀 欢迎来到「端侧AI创新挑战赛」官方教程第四期！
上一期，我们把 Qwen3 装进了树莓派，用一块 OLED 屏和一个九键键盘，打造出了一台真正离线对话的“电子鹦鹉”。
本期，主战场转向你最熟悉的设备——手机。我们将通过 MNN + Qwen，手把手完成端侧大模型的部署、运行与调优。
本教程完全遵从你的开发习惯：先上手体验，再深入源码，最后进阶调优。无论你是想快速验证创意，还是希望深度定制自己的端侧 AI 应用，这里都提供一条清晰、可复现的全链路路径。
基础篇 认识我们的工具箱
在开始之前，让我们先快速了解一下本次实战的几位“主角”。
- MNN：阿里巴巴开源的端侧推理引擎，具备高性能、轻量级、高通用性的特点。
GitHub➡️https://github.com/alibaba/MNN - MNN-LLM：MNN中专为大语言模型设计的模块，提供了从模型转换、量化到推理部署的全链路工具。
源码路径⬇️
https://github.com/alibaba/MNN/tree/master/transformers - Qwen模型：本次挑战赛的核心模型，我们将主要使用其小尺寸版本，如Qwen3-0.6B、1.7B等。
Qwen模型仓库⬇️
https://modelscope.cn/organization/Qwen
- MNN 模型仓库：MNN 官方已经为大家转换和量化好了多款 Qwen 模型，可直接下载使用。
MNN模型仓库⬇️
https://modelscope.cn/organization/MNN
快速体验篇 安装 MNN Chat，一键玩转端侧大模型
在深入研究代码之前，最直观的方式是先体验一下最终成品的效果。我们强烈建议您先下载官方已经打包好的 MNN Chat APP 。
MNN Chat 是一个功能强大的示例应用，它集成了MNN-LLM的核心能力，支持文本、语音、图像等多种模态的交互。
如何安装
- Android 用户
- 前往 MNN Github 的 Releases页面下载最新的APK安装包。
- （可选）在Google Play商店搜索“MNN Chat”。
- iOS用户
- 在 App Store（美区）搜索“MNN Chat”。
- （可选）从 Github 下载源码，使用Xcode编译安装。
如何使用
1、进入模型市场：打开 APP，在“模型市场”中，你可以看到MNN官方支持的各类模型。
2、下载Qwen模型：找到你感兴趣的 Qwen 模型（如 Qwen3-0.6B-MNN），点击下载。
3、开始对话：下载完成后，进入对话界面，即可开始与本地运行的 Qwen 模型进行交互！你甚至可以尝试图片问答等多模态功能。
实战篇 从零构建与测试
体验完 App 后，您一定想知道如何从源代码开始，构建一个属于自己的端侧大模型应用。下面，我们将完整走一遍从源码编译到命令行测试的全流程。
🟣 源码下载与编译
首先，我们需要编译 MNN 引擎本身，获取模型转换和推理所需的工具。(建议在 macOS, Linux 或 WSL 环境下操作, Windows 环境准备参考：https://mnn-docs.readthedocs.io/en/latest/compile/engine.html#windows-visual-studio)
# 1. 下载MNN源码 git clone https://github.com/alibaba/MNN.git cd MNN # 2. 创建编译目录并编译 mkdir build && cd build cmake -DMNN_BUILD_LLM=ON -DMNN_BUILD_LLM_OMNI=ON -DMNN_BUILD_CONVERTER=ON .. make -j8
💡核心：-DMNN_BUILD_LLM=ON 等参数是关键，它会确保编译出LLM所需的所有组件。
🟣 模型下载与转换
接下来，我们使用 MNN-LLM 提供的脚本，将官方的 Qwen 模型转换为 MNN 格式。
# 1. 进入MNN-LLM的export目录 cd MNN/transformers/llm/export # 2. 安装python依赖 pip install -r requirements.txt # 3. 从ModelScope下载模型 (以Qwen3-0.6B为例) modelscope download Qwen/Qwen3-0.6B --local_dir Qwen3-0.6B # 4. 执行转换脚本 python llmexport.py --path Qwen3-0.6B --dst_path Qwen3-0.6B-MNN --export mnn -hqq
💡 核心：--export mnn 代表导出为 MNN 格式，-hqq 是推荐开启的量化选项，可以有效提升模型精度。
🟣 模型推理测试
模型转换完成后，使用我们第一步编译出的 llm_demo 工具，在命令行进行快速测试。
# 1. 回到编译目录 cd MNN/build # 2. 准备一个prompt文件 echo "你好,请问你是谁?</no_think>" > prompt.txt # 3. 运行命令行demo./llm_demo ../transformers/llm/export/Qwen3-0.6B-MNN/config.json prompt.txt
当你看到 AI 助手流畅地回答出“您好,我是AI助手...”时，恭喜你，已经成功在本地跑通了整个流程！
移动端部署篇 编译Android & iOS APP
命令行测试成功，只是万里长征的第一步。接下来，我们将深入介绍如何将这一切能力完整地移植到手机 APP 上。这一步将分为 Android 和 iOS 两部分，请根据您的目标平台进行操作。
部署到 Android
🟣 第1步：编译 MNN Android 核心库
首先，我们需要为 Android 平台编译出MNN引擎的动态库（.so文件）。这个库是 APP 运行的核心。
# 1. 进入MNN的Android工程目录 cd MNN/project/android # 2. 创建编译目录 mkdir build_64 && cd build_64 # 3. 执行编译脚本 (包含了LLM、VISION、OPENCL等关键模块) ../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=OFF -DCMAKE_SHARED_LINKER_FLAGS='-Wl,-z,max-page-size=16384' -DCMAKE_INSTALL_PREFIX=." # 4. 安装编译产物 make install
🟣 第2步：编译并安装 MNN Chat APP
核心库准备好后，我们就可以编译作为示例的 MNN Chat 应用了。
# 1. 进入MNN Chat的Android工程目录 cd MNN/apps/Android/MnnLlmChat # 2. 执行安装脚本 ./installDebug.sh
💡 前提：请确保您的电脑已正确配置 Android 开发环境（SDK/NDK），并且手机已通过 USB 连接并开启开发者模式，adb devices 命令可以正常发现您的设备。该脚本会自动编译并安装APP到您的手机。
🟣 第3步：推送模型到手机
刚安装好的 APP 是一个“空壳”，我们需要把之前转换好的模型文件推送到手机的特定目录中，APP 就可以运行我们推送的模型。
# 1. 进入存放转换后模型的目录 cd MNN/transformers/llm/export # 2. 在手机上创建模型文件夹 adb shell mkdir -p /data/local/tmp/mnn_models # 3. 将模型文件夹推送到手机 adb push Qwen3-0.6B-MNN /data/local/tmp/mnn_models/
现在，打开您手机上的 MNN Chat，它应该就能在“我的模型”中找到您刚刚推送的 Qwen 模型了！ 
部署到 iOS
🟣第1步：编译MNN iOS核心库 (Framework)
与 Android 类似，我们首先需要为 iOS 平台编译出 MNN 的 .framework 静态库。
# 1. 回到MNN根目录 cd MNN # 2. 执行iOS编译脚本 (同样包含一系列编译参数) sh package_scripts/ios/buildiOS.sh "-DMNN_BUILD_LLM=ON -DMNN_METAL=ON ..." # 3. 将编译产物移动到Xcode工程目录中 mv MNN-iOS-CPU-GPU/Static/MNN.framework apps/iOS/MNNLLMChat
💡 提示：编译 iOS 库通常需要在 macOS 环境下进行。
🟣 第2步：使用Xcode编译和运行
核心库就位后，我们使用 Xcode 来完成 APP 的最终编译和安装。
# 1. 进入MNNLLMChat的iOS工程目录 cd MNN/apps/iOS/MNNLLMChat # 2. 使用Xcode打开工程文件 open MNNLLMiOS.xcodeproj
💡 操作：在 Xcode 中，选择您的真机设备作为目标，然后点击“▶️”（Run）按钮即可完成编译和安装。
🟣 第3步：添加模型文件到 Xcode 工程
对于 iOS，我们不是通过命令行推送模型，而是直接将模型文件作为资源打包进 APP。
1、在 Xcode 左侧的文件导航器中，找到 MNNLLMChat 下的 model 目录。
2、打开访达（Finder），找到您之前转换好的模型文件夹（例如 Qwen3-0.6B-MNN）。
3、将整个模型文件夹拖拽到 Xcode 的 model 目录下。
4、在弹出的对话框中，务必勾选“Copy items if needed”，并选择“Create folder references”。
💡 提示：在Signing & Capabilities 界面中，Team栏选择你的账号；修改一个可用的Bundle Identifier。
💡 注意：如果你的账号不是苹果开发者账号，请删除该界面下面的 Extended Virtual Addressing 和 Increased Memory Limit 两个权限，否则无法编译。
完成以上步骤后，再次运行 APP，它就能在内置的资源目录中找到并加载 Qwen 模型了。
进阶篇 精度与性能调优秘籍
为了在比赛中获得更高分数，你需要对模型的导出和运行参数进行精细化调优。
🟣 1、模型导出参数调优
在执行 llmexport.py 时，可以附加不同参数以获得不同的效果：
• 精度调优：
• --quant_bit 8：使用 INT8 量化，精度更高，但体积更大。
• --quant_block 32：使用更小的 block，可以提升精度。
• --awq：开启 AWQ 量化，需要校准数据集，速度稍慢但精度更高。
• 内存/体积调优：
• --quant_block 128：使用更大的 block，牺牲部分精度换取更小的体积。
• --lm_quant_bit 4: 对 lm_head 使用更低的位数，进一步降低权重大小。
🟣 2、模型运行时参数调优
模型导出后，可以通过修改 config.json 文件来控制运行时的行为：
• backend_type：指定后端，cpu 或 opencl/metal（GPU）。
• thread_num：调整线程数，通常设置为大核数量。
• precision：精度模式，low 模式（如fp16）速度更快。
• use_mmap：在手机上建议设为 true，内存不足时可避免闪退。
• sampler_type 等采样参数：调整可以改变模型生成文本的“性格”，如创造性、随机性等。
从快速体验 APP，到亲手编译运行，再到进阶性能调优，相信通过这篇教程，你已经掌握了使用 MNN 部署 Qwen 大模型的全链路技术。端侧 AI 的想象空间是巨大的，真正的挑战在于如何将这些强大的技术与创新的应用场景相结合。
希望这篇教程能成为你通往成功的垫脚石。期待在“端侧AI创新挑战赛”中看到你的精彩作品！
