程序员必备!这款离线 GenAI 工具让你本地跑模型超简单 12.2k star

简介: Google AI Edge Gallery 是 Google 推出的移动端实验应用,支持 Android 和 iOS,可在本地离线运行生成式 AI 模型,保护隐私且无需网络。支持图像提问、Prompt 实验室、AI 聊天等功能,提供多种模型下载与性能分析,适合开发者调试和 AI 爱好者使用。项目开源,已在 GitHub 获得 12.2k star,具备良好的扩展性和实用性。

嗨,我是小华同学,专注解锁高效工作与前沿AI工具!每日精选开源技术、实战技巧,助你省时50%、领先他人一步。👉免费订阅,与10万+技术人共享升级秘籍!

image.png

“AI Edge Gallery 是一个将强大的生成式 AI 模型直接放到你手机上的实验型应用,支持 Android(现已可用)、iOS(即将)。本地运行、离线激活,用手机也能玩转先进 AI。”

项目简介

Google AI Edge Gallery 是 Google AI Edge 团队开发的移动端实验应用,目前在 GitHub 已获 12.2k star,展示了多种本地运行的 Generative AI 模型使用场景,支持用户下载模型、离线交互、图像提问、Prompt Lab 和 AI 聊天等功能。项目采用 Apache‑2.0 开源协议,面向开发者和 AI 爱好者,开放安装 APK 使用。

痛点与场景

  • 隐私泄漏无忧:无需联网即可运行 AI 模型,数据完全留在设备端。
  • 网络受限仍能用:远程工作、旅行途中没有网络,也能和 AI 对话。
  • 开发者可调试:支持导入本地 .task 模型,方便开发者测试和调优。
  • 多模型比较:提供多款 LLM,可根据需求下载不同模型做对比。

核心功能亮点

功能模块 功能描述
本地离线运行 模型下载后可完全离线使用,无需网络支持
Ask Image(图像提问) 上传图片后询问内容,例如识别番茄种类、栽培建议
Prompt Lab 支持重写语气、文本总结及生成代码等单回合任务
AI Chat 多轮对话,模仿 ChatGPT/Gemini 聊天体验
性能分析面板 实时显示 TTFT、解码速度、延迟等性能指标
模型管理 从 HuggingFace 下载不同大小模型,支持 Gemma 系列
开发者模式 支持导入本地 LiteRT .task 模型,方便调试
APK 多安装方式 支持直接安装及 ADB 安装两种方式

技术架构

  • LiteRT 运行时:轻量高效,支持在 ARM CPU/NPU 上运行 LLM。
  • Gemma 系列 LLM:谷歌自研的移动端模型,支持离线长文本和图像任务。
  • 即时性能反馈:开发者可精准查看延迟、速度,优化体验。
  • 开源 & 灵活:Apache‑2.0,支持自定义模型进入 Prompt Lab/Gallery。

界面效果展示

Ask Image

image.png

上传一张番茄照片,AI 本地运行,数分钟识别并给出:

“这是葡萄樱桃番茄,适合在温暖气候种植,建议……” 响应详细,时间约 4 分钟以内(在高端机型性能可接受)。

Prompt Lab

输入文本请求:

“请将以下内容转换为代码:当输入 ‘Good day’ 时,输出 ‘hello’。”

即返回 JavaScript 代码,并支持嵌入网页示例。

AI Chat

进行旅行规划对话:

“我要去西班牙旅行,请推荐行李和行程。” 生成详细 packing list 和行程建议,虽延迟较高但效果实用。

界面简洁,模块切换自然,多数情况下稳定流畅。

应用场景

  • 隐私敏感用户:不愿上传个人数据,也能完全离线使用 AI。
  • 偏远地区或旅行者:无网络环境下,仍可获取 AI 助力。
  • 开发者调试:快速测试不同模型,调优、比对效果。
  • 教育与学习:可用来教学、代码编写、文本处理等。
  • 植物识别、物体提问:本地图像识别,适合研究场景应用。

项目对比

项目 模型运行方式 离线能力 模型变更 性能反馈 开源协议
AI Edge Gallery 本地 ARM 模型 ✅ 完全离线 ✅ 支持自定义模型 ✅ TTFT等指标面板 Apache‑2.0
Hugging Face App 云端 API ❌ 需联网 ❌ 固定模型 ❌ 无本地性能反馈
ChatGPT/Gemini 云端推理 ❌ 需联网 ❌ 无自定义 ❌ 无离线指标 专有闭源
Ollama (桌面) 本地 x86 模型 ✅ 本地 ✅ 基本指标 开源
  • AI Edge Gallery 最大优势:本地 ARM 优化,真正离线且支持自定义模型,同时性能指标透明。
  • Cloud 仅支持联网使用,且无法本地掌控;桌面虽本地运行却不适用于手机。

小结

Google AI Edge Gallery 是一个极具潜力的“移动端本地 AI 试验场”,不仅让用户能在离线环境中与 AI 自由互动,还具备开发者友好的扩展性。12.2k stars 也证明了社区对真·离线 AI 的巨大期待。若你追求隐私、安全、AI 本地应用,这绝对值得收藏体验。

项目地址

https://github.com/google-ai-edge/gallery

相关文章
|
Web App开发 编解码 JavaScript
VUE播放RTSP方案,支持H.265!
VUE播放RTSP方案,支持H.265!如果你问一个前端技术人员,近几年最火的前端框架技术是什么,肯定会有人说VUE,确实VUE凭借其简单特性赢得了大家的喜爱,而近期公司有个项目,需要在VUE框架网页上播放RTSP实时视频。
2098 0
|
Android开发
解决 Android Studio 日志乱码
解决 Android Studio 日志乱码
2491 0
解决 Android Studio 日志乱码
|
3月前
|
文字识别 自然语言处理 Java
一键搞定人脸识别、语音识别、车牌识别本地化!离线跑模型不装框架!!!
SmartJavaAI 是专为 Java 开发者打造的离线 AI 工具箱,集成人脸识别、OCR、语音识别、机器翻译等 20+ 主流模型,基于 DJL + JNI 封装,支持 Maven 一键引入,两行代码调用,让 Java 工程师无需掌握 Python/C++ 即可轻松接入 AI 能力,高效落地各类智能场景。
338 1
|
5月前
|
Apache 数据安全/隐私保护 Docker
【开源问答系统】GitHub 14.9k star 的开源问答引擎来了,三分钟搭建完成~~~
Apache Answer 是一款开源问答系统,助力团队将零散知识沉淀为结构化资产。支持 Docker 快速部署、插件扩展、权限控制与多语言,兼具高效搜索、投票排序与私有化部署能力,适用于技术社区、企业知识库与用户支持场景。
702 22
|
7月前
|
人工智能 监控 数据处理
数据标注管理工具:AI燃料工厂的精益引擎
本文详解如何构建高吞吐数据标注系统,涵盖实时质检、智能调度与全息监控三大技术支柱,结合真实案例与代码实现,揭示从技术债到工程化落地的完整路径。
|
6月前
|
人工智能 语音技术 Docker
揭秘8.3k star 开源神器 VoiceCraft 用AI革新有声内容创作,只需几秒录音
VoiceCraft 是一款开源语音编辑与文本转语音(TTS)工具,仅需几秒录音即可实现语音克隆、插入、删除、替换等操作,支持零样本编辑和高自然度语音生成。适用于播客、短视频、有声书等内容创作场景,具备本地部署能力,已在 GitHub 获得 8.3k 星标。
714 0
|
10月前
|
数据采集 人工智能 监控
40.8K star!让AI帮你读懂整个互联网:Crawl4AI开源爬虫工具深度解析
Crawl4AI 是2025年GitHub上备受瞩目的开源网络爬虫工具,专为AI时代设计。它不仅能抓取网页内容,还能理解页面语义结构,生成适配大语言模型的训练数据格式。上线半年获4万+星标,应用于1200+AI项目。其功能亮点包括智能内容提取引擎、AI就绪数据管道和企业级特性,支持动态页面处理、多语言识别及分布式部署。技术架构基于Python 3.10与Scrapy框架,性能卓越,适用于AI训练数据采集、行业情报监控等场景。相比Scrapy、BeautifulSoup等传统工具,Crawl4AI在动态页面支持、PDF解析和语义分块方面更具优势
3532 0
40.8K star!让AI帮你读懂整个互联网:Crawl4AI开源爬虫工具深度解析
|
11月前
|
人工智能 自然语言处理 监控
17.1K star!两小时就能训练出专属与自己的个性化小模型,这个开源项目让AI触手可及!
🔥「只需一张消费级显卡,2小时完成26M参数GPT训练!」 🌟「从零构建中文大模型的最佳实践指南」 🚀「兼容OpenAI API,轻松接入各类AI应用平台」
619 1
|
6月前
|
人工智能 数据可视化 开发者
深度解析基于LangGraph的Agent系统架构设计与工程实践
LangGraph作为Agent 生态中非常热门的框架,今天我将借助 LangGraph,更高效、更优雅的方式构建复杂智能体系统。
1643 2