MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


大家好,我是蚝油菜花,今天跟大家分享一下 MNN-LLM App 这个基于 MNN-LLM 框架开发的手机 AI 助手应用。在此之前,如果你想了解什么是 MNN,可以阅读《MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式》。

🚀 快速阅读

MNN-LLM App 是阿里巴巴推出的开源 Android 应用,专注于在手机上离线运行大语言模型(LLM)。

  1. 核心功能:支持多模态交互,包括文本生成文本、图像生成文本、音频转文本及文本生成图像。
  2. 技术原理:针对移动端 CPU 推理进行了深度优化,预填充和解码速度显著提升。

MNN-LLM App 是什么

MNN-LLM App

MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用,支持各类大语言模型(LLM)在手机上离线运行。该应用具备多模态功能,能实现文本生成文本、图像生成文本、音频转文本以及文本生成图像等多种任务。应用对 CPU 推理进行了深度优化,确保高效的本地运行,预填充速度和解码速度均显著优于同类产品。

此外,MNN-LLM App 支持多种主流模型,如 Qwen、Gemma、Llama 等,用户可以根据需要选择不同的模型进行任务处理。

MNN-LLM App 的主要功能

  • 多模态交互:支持多种输入输出方式,包括文本生成文本、图像生成文本、音频转文本以及文本生成图像(基于扩散模型)。用户可以通过文字、图片或语音输入,获取相应的生成结果。
  • 模型选择与切换:内置多种主流大语言模型(LLM),如 Qwen、Gemma、Llama、Baichuan 等,用户可以根据需求选择不同的模型。
  • 离线运行:所有功能在本地设备上运行,无需联网,确保数据隐私和安全性。
  • 性能优化:针对移动端 CPU 推理进行了深度优化,预填充和解码速度显著提升,相比同类应用具有更快的响应速度。
  • 本地存储:支持将生成的内容保存到本地,方便用户随时查看和使用。

MNN-LLM App 的技术原理

  • 移动端 CPU 优化:通过深度优化移动端 CPU 推理,预填充和解码速度显著提升,确保高效的本地运行。
  • 多模态支持:集成多种模态处理能力,支持文本、图像和音频的输入输出,满足不同场景的需求。
  • 模型轻量化:采用模型压缩和量化技术,减少模型体积和内存占用,提升运行效率。

如何运行 MNN-LLM App

1. 下载应用

你可以从发布页面下载最新版本的 MNN-LLM 应用,或选择自行编译。

2. 安装应用

安装后,你可以在应用中浏览所有支持的模型,下载并与其交互。此外,你还可以在侧边栏中查看和回顾之前的聊天记录。

3. 自行编译

如果你希望自行编译 MNN-LLM 应用,可以按照以下步骤操作:

4. 克隆仓库

git clone https://github.com/alibaba/MNN.git
AI 代码解读

5. 构建库

cd project/android
mkdir build_64
../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"
AI 代码解读

6. 复制库文件

find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/ \;
AI 代码解读

7. 构建并安装应用

cd ../apps/MnnLlmApp/
./gradlew installDebug
AI 代码解读

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
23
22
0
401
分享
相关文章
重磅发布:VTJ.PRO 赋能若依(RuoYi)「AI + 低代码」能力,企业级开发效率跃升 300%
VTJ.PRO 与若依(RuoYi)深度集成,融合双向代码穿梭、AI智能引擎及多模态渲染技术,打造“设计即生产”新体验。支持可视化开发、AI生成代码、旧组件重构,提升企业开发效率,助力数字化转型。
154 29
程序员必收藏!Github 167000+ star 的自主AI agent,全自动AI助手,全面覆盖开发效率场景
AutoGPT 是基于 GPT-4 的开源自主 AI 智能代理,全面覆盖开发效率场景。支持任务自动拆解、多轮反馈、插件扩展与记忆管理,具备持续执行能力,适合自动化测试、CI/CD、Web 数据抓取等任务。GitHub 超 176K Star,是当前最热门的 AI Agent 开源项目之一,提供 CLI 与 GUI 双界面,助力开发者提升工作效率。
157 1
VTJ.PRO:打破次元壁!AI驱动 + 双向代码自由穿梭,重新定义Vue高效开发!
VTJ.PRO推出“双向代码转换引擎”,实现可视化设计与手写代码无缝切换,真正践行“设计即代码,代码即设计”。支持Vue3组件一键生成、源码反向解析,兼顾开发自由度与效率,助力快速原型验证与项目迭代。
53 0
高校实验实训课程开发:基于现有的硬件基础和开源能力研发最前沿的AI实验课程
更多基于学校现有硬件基础:企业需求场景的开发和发展,更加注重上层数据和应用,各类工具软件的出现,极大提升了各类硬件的应用价值。我们看到各类硬件厂商,想方设法把硬件卖给学校,但是很多硬件不是在那里尘封,就是寥寥无几的使用场景,我们希望基于学校现有的硬件基础去开发更多面向不同行业或专业的实验实训课程,物尽其用。基于学校现有的硬件,集约开发,极大降低硬件投入成本。
55 7
AI大模型运维开发探索第五篇:GitOps 智能体
本文探讨了如何结合 Manus 的智能体设计理念与 GitOps 持续集成技术,构建低成本、高扩展性的智能体系统。通过借鉴 Manus 的沙箱机制与操作系统交互思路,利用 Git 作为智能体的记忆存储与任务调度核心,实现了推理过程可视化、自进化能力强的智能体架构。文章还分享了具体落地实践与优化经验,展示了其与 Manus 相当的功能表现,并提供了开源代码供进一步探索。
199 20
加速LLM大模型推理,KV缓存技术详解与PyTorch实现
大型语言模型(LLM)的推理效率是AI领域的重要挑战。本文聚焦KV缓存技术,通过存储复用注意力机制中的Key和Value张量,减少冗余计算,显著提升推理效率。文章从理论到实践,详细解析KV缓存原理、实现与性能优势,并提供PyTorch代码示例。实验表明,该技术在长序列生成中可将推理时间降低近60%,为大模型优化提供了有效方案。
377 15
加速LLM大模型推理,KV缓存技术详解与PyTorch实现
万字长文详解|DLRover LLM Agent:大模型驱动的高效集群资源调优
本文介绍了DLRover LLM Agent,展示了基于 LLM 上下文学习能力的优化算法设计理念以及在DLRover 资源调优上的应用方法和效果。
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
277 2
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。

热门文章

最新文章

AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等