程序员必备!这款离线 GenAI 工具让你本地跑模型超简单 12.2k star

简介: Google AI Edge Gallery 是 Google 推出的移动端实验应用,支持 Android 和 iOS,可在本地离线运行生成式 AI 模型,保护隐私且无需网络。支持图像提问、Prompt 实验室、AI 聊天等功能,提供多种模型下载与性能分析,适合开发者调试和 AI 爱好者使用。项目开源,已在 GitHub 获得 12.2k star,具备良好的扩展性和实用性。

嗨,我是小华同学,专注解锁高效工作与前沿AI工具!每日精选开源技术、实战技巧,助你省时50%、领先他人一步。👉免费订阅,与10万+技术人共享升级秘籍!

image.png

“AI Edge Gallery 是一个将强大的生成式 AI 模型直接放到你手机上的实验型应用,支持 Android(现已可用)、iOS(即将)。本地运行、离线激活,用手机也能玩转先进 AI。”

项目简介

Google AI Edge Gallery 是 Google AI Edge 团队开发的移动端实验应用,目前在 GitHub 已获 12.2k star,展示了多种本地运行的 Generative AI 模型使用场景,支持用户下载模型、离线交互、图像提问、Prompt Lab 和 AI 聊天等功能。项目采用 Apache‑2.0 开源协议,面向开发者和 AI 爱好者,开放安装 APK 使用。

痛点与场景

  • 隐私泄漏无忧:无需联网即可运行 AI 模型,数据完全留在设备端。
  • 网络受限仍能用:远程工作、旅行途中没有网络,也能和 AI 对话。
  • 开发者可调试:支持导入本地 .task 模型,方便开发者测试和调优。
  • 多模型比较:提供多款 LLM,可根据需求下载不同模型做对比。

核心功能亮点

功能模块 功能描述
本地离线运行 模型下载后可完全离线使用,无需网络支持
Ask Image(图像提问) 上传图片后询问内容,例如识别番茄种类、栽培建议
Prompt Lab 支持重写语气、文本总结及生成代码等单回合任务
AI Chat 多轮对话,模仿 ChatGPT/Gemini 聊天体验
性能分析面板 实时显示 TTFT、解码速度、延迟等性能指标
模型管理 从 HuggingFace 下载不同大小模型,支持 Gemma 系列
开发者模式 支持导入本地 LiteRT .task 模型,方便调试
APK 多安装方式 支持直接安装及 ADB 安装两种方式

技术架构

  • LiteRT 运行时:轻量高效,支持在 ARM CPU/NPU 上运行 LLM。
  • Gemma 系列 LLM:谷歌自研的移动端模型,支持离线长文本和图像任务。
  • 即时性能反馈:开发者可精准查看延迟、速度,优化体验。
  • 开源 & 灵活:Apache‑2.0,支持自定义模型进入 Prompt Lab/Gallery。

界面效果展示

Ask Image

image.png

上传一张番茄照片,AI 本地运行,数分钟识别并给出:

“这是葡萄樱桃番茄,适合在温暖气候种植,建议……” 响应详细,时间约 4 分钟以内(在高端机型性能可接受)。

Prompt Lab

输入文本请求:

“请将以下内容转换为代码:当输入 ‘Good day’ 时,输出 ‘hello’。”

即返回 JavaScript 代码,并支持嵌入网页示例。

AI Chat

进行旅行规划对话:

“我要去西班牙旅行,请推荐行李和行程。” 生成详细 packing list 和行程建议,虽延迟较高但效果实用。

界面简洁,模块切换自然,多数情况下稳定流畅。

应用场景

  • 隐私敏感用户:不愿上传个人数据,也能完全离线使用 AI。
  • 偏远地区或旅行者:无网络环境下,仍可获取 AI 助力。
  • 开发者调试:快速测试不同模型,调优、比对效果。
  • 教育与学习:可用来教学、代码编写、文本处理等。
  • 植物识别、物体提问:本地图像识别,适合研究场景应用。

项目对比

项目 模型运行方式 离线能力 模型变更 性能反馈 开源协议
AI Edge Gallery 本地 ARM 模型 ✅ 完全离线 ✅ 支持自定义模型 ✅ TTFT等指标面板 Apache‑2.0
Hugging Face App 云端 API ❌ 需联网 ❌ 固定模型 ❌ 无本地性能反馈
ChatGPT/Gemini 云端推理 ❌ 需联网 ❌ 无自定义 ❌ 无离线指标 专有闭源
Ollama (桌面) 本地 x86 模型 ✅ 本地 ✅ 基本指标 开源
  • AI Edge Gallery 最大优势:本地 ARM 优化,真正离线且支持自定义模型,同时性能指标透明。
  • Cloud 仅支持联网使用,且无法本地掌控;桌面虽本地运行却不适用于手机。

小结

Google AI Edge Gallery 是一个极具潜力的“移动端本地 AI 试验场”,不仅让用户能在离线环境中与 AI 自由互动,还具备开发者友好的扩展性。12.2k stars 也证明了社区对真·离线 AI 的巨大期待。若你追求隐私、安全、AI 本地应用,这绝对值得收藏体验。

项目地址

https://github.com/google-ai-edge/gallery

相关文章
|
Web App开发 编解码 JavaScript
VUE播放RTSP方案,支持H.265!
VUE播放RTSP方案,支持H.265!如果你问一个前端技术人员,近几年最火的前端框架技术是什么,肯定会有人说VUE,确实VUE凭借其简单特性赢得了大家的喜爱,而近期公司有个项目,需要在VUE框架网页上播放RTSP实时视频。
2289 0
|
Android开发
解决 Android Studio 日志乱码
解决 Android Studio 日志乱码
2953 0
解决 Android Studio 日志乱码
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
17520 81
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
|
5月前
|
Linux API 异构计算
OpenClaw阿里云及本地部署离线运行实战手册:本地大模型Ollama部署、多系统安装与免费API适配
2026年,OpenClaw(Clawdbot)的本地化能力已实现跨越式升级——不再依赖云端大模型API,通过对接本地私有模型,可实现全程离线运行,数据无需上传第三方服务器,兼顾隐私安全与使用便捷性。这种“本地部署+私有模型”的组合,完美解决了敏感数据处理、无网络环境使用、长期成本控制等核心痛点,使其在企业办公、科研场景、隐私敏感领域的适用性大幅提升。
2828 2
OpenClaw阿里云及本地部署离线运行实战手册:本地大模型Ollama部署、多系统安装与免费API适配
|
5月前
|
人工智能 弹性计算 机器人
OpenClaw白嫖全攻略:保姆级一键部署(阿里云/本地)+大模型免费API配置,0门槛养虾!
“代码小白也能5分钟搞定”“无需服务器,云端免费养虾”“每日赠送百万Token”——2026年开春,飞书妙搭与OpenClaw的联动彻底打破了AI智能体的部署门槛。参考文章作者作为纯代码小白,用飞书妙搭“一键部署”功能轻松拥有专属OpenClaw(社区昵称“小龙虾”),无需复杂命令、不用购买服务器,甚至能自动接入飞书机器人,让无数新手直呼“真香”。
3636 166
|
9月前
|
文字识别 自然语言处理 Java
一键搞定人脸识别、语音识别、车牌识别本地化!离线跑模型不装框架!!!
SmartJavaAI 是专为 Java 开发者打造的离线 AI 工具箱,集成人脸识别、OCR、语音识别、机器翻译等 20+ 主流模型,基于 DJL + JNI 封装,支持 Maven 一键引入,两行代码调用,让 Java 工程师无需掌握 Python/C++ 即可轻松接入 AI 能力,高效落地各类智能场景。
816 1