谷歌发布MediaPipe LLM Inference API,28亿参数模型本地跑

简介: 【2月更文挑战第24天】谷歌发布MediaPipe LLM Inference API,28亿参数模型本地跑

e6246b5df078536acaf715a8a1710da3.jpeg
在人工智能领域,模型的规模和性能一直是推动技术进步的关键因素。随着计算能力的提升和算法的优化,AI模型变得越来越庞大,它们能够处理更复杂的任务,提供更精准的服务。然而,这些大模型往往需要强大的硬件支持,限制了它们在移动设备和个人电脑上的应用。谷歌最新发布的MediaPipe LLM Inference API,正是为了打破这一限制,让28亿参数的大模型也能在本地设备上流畅运行。

这一API的推出,是谷歌在跨设备AI技术领域的又一重要里程碑。它不仅简化了开发者在不同设备上部署AI模型的过程,还通过一系列技术创新,实现了模型在不同平台上的高效运行。这些技术包括新的操作、量化、缓存和权重共享等,它们共同作用,使得AI大模型能够在网页、安卓、iOS等设备上无缝运行。谷歌的这一举措,无疑为AI技术的普及和应用开辟了新的道路。

MediaPipe LLM Inference API目前支持的模型包括Gemma、Phi 2、Falcon和Stable LM,这些模型的参数规模从1B到3B不等。这些模型不仅能够在网页上运行,还能在安卓和iOS设备上提供服务。开发者可以根据需要选择使用基本模型权重,或者利用社区微调版,甚至使用自己的数据进行微调,以适应特定的应用场景。这种灵活性,使得AI模型能够更好地服务于用户,满足多样化的需求。

在iOS设备上,尽管目前只有Gemma 2B(int4)模型能够运行,但谷歌正在积极努力,以期让更多模型能够在iOS平台上启用。这一努力,体现了谷歌对于跨平台兼容性的重视,也预示着未来AI技术将更加普及和便捷。

为了确保模型能够在设备上高效运行,谷歌对MediaPipe LLM Inference API进行了细致的优化。这些优化措施包括权重共享、优化的全连接操作、平衡计算和内存使用、自定义操作符、伪动态性和优化的KV缓存布局等。这些技术的应用,不仅提高了模型的运行效率,还保证了在不同设备上的兼容性和稳定性。

谷歌的这一创新,不仅仅是技术上的突破,更是对AI大模型跨设备运行的一次大胆尝试。它将推动AI技术在更多领域的应用,为用户带来更加智能化的体验。随着谷歌计划将MediaPipe LLM Inference API扩展到更多平台和模型,未来的AI技术将更加强大,更加贴近人们的生活。

目录
相关文章
|
9天前
|
存储 算法 关系型数据库
实时计算 Flink版产品使用合集之在Flink Stream API中,可以在任务启动时初始化一些静态的参数并将其存储在内存中吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
45 4
|
12天前
|
机器学习/深度学习 人工智能 JSON
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
LLM 大模型学习必知必会系列(一):大模型基础知识篇
LLM 大模型学习必知必会系列(一):大模型基础知识篇
LLM 大模型学习必知必会系列(一):大模型基础知识篇
|
6天前
|
数据采集 物联网 API
LLM 大模型学习必知必会系列(五):数据预处理(Tokenizer分词器)、模板(Template)设计以及LLM技术选型
LLM 大模型学习必知必会系列(五):数据预处理(Tokenizer分词器)、模板(Template)设计以及LLM技术选型
LLM 大模型学习必知必会系列(五):数据预处理(Tokenizer分词器)、模板(Template)设计以及LLM技术选型
|
12天前
|
存储 安全 机器人
【LLM】智能学生顾问构建技术学习(Lyrz SDK + OpenAI API )
【5月更文挑战第13天】智能学生顾问构建技术学习(Lyrz SDK + OpenAI API )
34 1
|
12天前
|
机器学习/深度学习 JSON 自然语言处理
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
通过LLM2Vec,我们可以使用LLM作为文本嵌入模型。但是简单地从llm中提取的嵌入模型往往表现不如常规嵌入模型。
47 5
|
12天前
|
机器学习/深度学习 人工智能 搜索推荐
【LLM】深入浅出学习模型中Embedding(嵌入)
【5月更文挑战第2天】人工智能嵌入深入浅出介绍
53 0
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
|
12天前
|
SQL 自然语言处理 算法
NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]
NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]
NL2SQL基础系列(1):业界顶尖排行榜、权威测评数据集及LLM大模型(Spider vs BIRD)全面对比优劣分析[Text2SQL、Text2DSL]
|
12天前
|
机器学习/深度学习 自然语言处理

热门文章

最新文章