MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用

简介: MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


大家好,我是蚝油菜花,今天跟大家分享一下 MNN-LLM App 这个基于 MNN-LLM 框架开发的手机 AI 助手应用。在此之前,如果你想了解什么是 MNN,可以阅读《MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式》。

🚀 快速阅读

MNN-LLM App 是阿里巴巴推出的开源 Android 应用,专注于在手机上离线运行大语言模型(LLM)。

  1. 核心功能:支持多模态交互,包括文本生成文本、图像生成文本、音频转文本及文本生成图像。
  2. 技术原理:针对移动端 CPU 推理进行了深度优化,预填充和解码速度显著提升。

MNN-LLM App 是什么

MNN-LLM App

MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用,支持各类大语言模型(LLM)在手机上离线运行。该应用具备多模态功能,能实现文本生成文本、图像生成文本、音频转文本以及文本生成图像等多种任务。应用对 CPU 推理进行了深度优化,确保高效的本地运行,预填充速度和解码速度均显著优于同类产品。

此外,MNN-LLM App 支持多种主流模型,如 Qwen、Gemma、Llama 等,用户可以根据需要选择不同的模型进行任务处理。

MNN-LLM App 的主要功能

  • 多模态交互:支持多种输入输出方式,包括文本生成文本、图像生成文本、音频转文本以及文本生成图像(基于扩散模型)。用户可以通过文字、图片或语音输入,获取相应的生成结果。
  • 模型选择与切换:内置多种主流大语言模型(LLM),如 Qwen、Gemma、Llama、Baichuan 等,用户可以根据需求选择不同的模型。
  • 离线运行:所有功能在本地设备上运行,无需联网,确保数据隐私和安全性。
  • 性能优化:针对移动端 CPU 推理进行了深度优化,预填充和解码速度显著提升,相比同类应用具有更快的响应速度。
  • 本地存储:支持将生成的内容保存到本地,方便用户随时查看和使用。

MNN-LLM App 的技术原理

  • 移动端 CPU 优化:通过深度优化移动端 CPU 推理,预填充和解码速度显著提升,确保高效的本地运行。
  • 多模态支持:集成多种模态处理能力,支持文本、图像和音频的输入输出,满足不同场景的需求。
  • 模型轻量化:采用模型压缩和量化技术,减少模型体积和内存占用,提升运行效率。

如何运行 MNN-LLM App

1. 下载应用

你可以从发布页面下载最新版本的 MNN-LLM 应用,或选择自行编译。

2. 安装应用

安装后,你可以在应用中浏览所有支持的模型,下载并与其交互。此外,你还可以在侧边栏中查看和回顾之前的聊天记录。

3. 自行编译

如果你希望自行编译 MNN-LLM 应用,可以按照以下步骤操作:

4. 克隆仓库

git clone https://github.com/alibaba/MNN.git

5. 构建库

cd project/android
mkdir build_64
../build_64.sh "-DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_ARM82=true -DMNN_USE_LOGCAT=true -DMNN_OPENCL=true -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true -DLLM_SUPPORT_AUDIO=true -DMNN_BUILD_AUDIO=true -DMNN_BUILD_DIFFUSION=ON -DMNN_SEP_BUILD=ON"

6. 复制库文件

find . -name "*.so" -exec cp {} ../apps/MnnLlmApp/app/src/main/jniLibs/arm64-v8a/ \;

7. 构建并安装应用

cd ../apps/MnnLlmApp/
./gradlew installDebug

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
人工智能 中间件 数据库
沐曦 GPU 融入龙蜥,共筑开源 AI 基础设施新底座
沐曦自加入社区以来,一直与龙蜥社区在推动 AIDC OS 的开源社区建设等方面保持合作。
|
机器学习/深度学习 人工智能 边缘计算
大模型在医疗领域的应用
🌟蒋星熠Jaxonic,AI开发者,深耕医疗大模型领域。见证代码如何重塑医疗:从影像分析到智能诊断,从药物研发到临床决策。分享技术实践与行业洞察,探索AI赋能健康的时代变革。
大模型在医疗领域的应用
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
9169 131
|
人工智能 自然语言处理 Shell
我们开源了一款 AI 驱动的用户社区
KoalaQA 是一款开源的 AI 驱动用户社区,支持智能问答、语义搜索、自动运营与辅助创作,助力企业降低客服成本,提升响应效率与用户体验。一键部署,灵活接入大模型,快速构建专属售后服务社区。
1085 5
我们开源了一款 AI 驱动的用户社区
|
人工智能 搜索推荐 UED
一个牛逼的国产AI自动化工具,开源了 !
AiPy是国产开源AI工具,结合大语言模型与Python,支持本地部署。用户只需用自然语言描述需求,即可自动生成并执行代码,轻松实现数据分析、清洗、可视化等任务,零基础也能玩转编程,被誉为程序员的智能助手。
|
人工智能 安全 架构师
开放、协同,2025 云栖大会“操作系统开源与 AI 进化分论坛”精彩回顾
唯有通过生态开放与技术共享,才能加速 AI 技术的普惠与产业化落地。
|
网络协议 Android开发 数据安全/隐私保护
Android手机上使用Socks5全局代理-教程+软件
Android手机上使用Socks5全局代理-教程+软件
14713 2
|
监控 安全 Android开发
【新手必读】Airtest测试Android手机常见的设置问题
【新手必读】Airtest测试Android手机常见的设置问题
1177 0
|
Web App开发 前端开发 网络安全
前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用
【2月更文挑战第21天】前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用
516 1
前端分析工具之 Charles 录制 Android/IOS 手机的 https 应用

热门文章

最新文章