谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头

简介: 谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头

本文来源:企业网D1net


谷歌最新发布的Gemma 2 2B是一款紧凑但功能强大的AI模型,尽管仅有26亿参数,但其性能却可与OpenAI的GPT-3.5和Mistral AI的Mixtral 8x7B等大型模型媲美甚至超越。Gemma 2 2B在大规模多任务语言理解(MMLU)和Python编程(MBPP)基准测试中表现优异,显示出在创建更高效、更易于部署的AI系统方面的重大进步,这款多语言模型经过先进TPU硬件的训练,适用于设备端和边缘计算。谷歌通过开源Gemma 2 2B,推动了AI技术的普及,强调模型压缩和蒸馏技术的重要性,展示了未来AI开发的新方向。


谷歌刚刚发布了Gemma 2 2B,这是一款紧凑但功能强大的AI模型,尽管其规模显著较小,但在性能上却可与行业领先者媲美甚至超越,这个新语言模型仅包含26亿参数,但其表现与规模更大的对手(包括OpenAI的GPT-3.5和Mistral AI的Mixtral 8x7B)相当或更优。


在谷歌开发者博客上宣布的Gemma 2 2B代表了在创建更易于访问和部署的AI系统方面的重大进步,其小巧的体积使其特别适合于设备上的应用,可能对移动AI和边缘计算产生重大影响。


小而强大的AI:超越其重量级别



AI研究组织LMSYS的独立测试显示,Gemma 2 2B在他们的评估中获得了1130分,这一结果略高于GPT-3.5-Turbo-0613(1117分)和Mixtral-8x7B(1114分),这两个模型的参数数量是Gemma 2 2B的十倍。


该模型的能力不仅仅在于其效率。谷歌报告称,Gemma 2 2B在MMLU(大规模多任务语言理解)基准测试中得分为56.1,在MBPP(主要是基础Python编程)中得分为36.6,比其前代产品有显著提升。


这一成就挑战了AI开发中更大模型固有表现更好的传统智慧。Gemma 2 2B的成功表明,复杂的训练技术、高效的架构和高质量的数据集可以弥补参数数量的不足,这一突破可能对该领域产生深远影响,可能会将焦点从追求越来越大的模型转向精炼更小、更高效的模型。


压缩巨人:AI压缩的艺术



Gemma 2 2B的开发还强调了模型压缩和蒸馏技术的重要性。通过有效地将大模型中的知识蒸馏到小模型中,研究人员可以创建更易于访问的AI工具,而不牺牲性能,这种方法不仅减少了计算需求,还解决了训练和运行大型AI模型对环境的影响。


谷歌使用其先进的TPU v5e硬件在一个包含2万亿标记的大规模数据集上训练了Gemma 2 2B,这个多语言模型增强了其在全球应用中的潜力。


这一发布符合行业对更高效AI模型的日益关注。随着对大语言模型环境影响和可访问性的关注增加,科技公司正专注于创建可以在消费级硬件上运行的更小、更高效的系统。


开源革命:让AI普及大众



通过将Gemma 2 2B开源,谷歌重申了其在AI领域透明和协作开发的承诺。研究人员和开发人员可以通过Gradio在Hugging Face上访问该模型,并且可以在包括PyTorch和TensorFlow在内的各种框架中实现。



版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。封面图片来源于摄图网


(来源:企业网D1Net)


image.png

如果您在企业IT、网络、通信行业的某一领域工作,并希望分享观点,欢迎给企业网D1Net投稿。

投稿邮箱:

editor@d1net.com

合作电话:

010-58221588(北京公司)

021-51701588(上海公司)

合作邮箱:

Sales@d1net.com


企业网D1net旗下信众智是CIO(首席信息官)的专家库和智力输出及资源分享平台,有五万多CIO专家,也是目前最大的CIO社交平台。


信众智对接CIO为CIO服务,提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内最早的toB共享经济平台。同时提供猎头,选型点评,IT部门业绩宣传等服务。

相关文章
|
5天前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
60 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
谷歌最新推出的Gemini 2.0是一款原生多模态输入输出的AI模型,以Agent技术为核心,支持多种数据类型的输入与输出,具备强大的性能和多语言音频输出能力。本文将详细介绍Gemini 2.0的主要功能、技术原理及其在多个领域的应用场景。
117 20
Gemini 2.0:谷歌推出的原生多模态输入输出 + Agent 为核心的 AI 模型
|
14天前
|
人工智能 安全 测试技术
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型,擅长长文本处理,能够有效降低模型幻觉问题。该模型提供 24 亿、78 亿和 320 亿参数的三个版本,支持多步推理和检索增强生成技术,适用于多种应用场景。
66 9
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
|
16天前
|
机器学习/深度学习 人工智能
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
SNOOPI是一个创新的AI文本到图像生成框架,通过增强单步扩散模型的指导,显著提升模型性能和控制力。该框架包括PG-SB和NASA两种技术,分别用于增强训练稳定性和整合负面提示。SNOOPI在多个评估指标上超越基线模型,尤其在HPSv2得分达到31.08,成为单步扩散模型的新标杆。
58 10
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
|
16天前
|
人工智能 搜索推荐 开发者
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
Aurora是xAI为Grok AI助手推出的新图像生成模型,专注于生成高逼真度的图像,特别是在人物和风景图像方面。该模型支持文本到图像的生成,并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异,免费用户每天能生成三张图像,而Premium用户则可享受无限制访问。
57 11
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
|
12天前
|
人工智能 自然语言处理 API
Multimodal Live API:谷歌推出新的 AI 接口,支持多模态交互和低延迟实时互动
谷歌推出的Multimodal Live API是一个支持多模态交互、低延迟实时互动的AI接口,能够处理文本、音频和视频输入,提供自然流畅的对话体验,适用于多种应用场景。
61 3
Multimodal Live API:谷歌推出新的 AI 接口,支持多模态交互和低延迟实时互动
|
20天前
|
机器学习/深度学习 人工智能 编解码
【AI系统】Transformer 模型小型化
本文介绍了几种轻量级的 Transformer 模型,旨在解决传统 Transformer 参数庞大、计算资源消耗大的问题。主要包括 **MobileVit** 和 **MobileFormer** 系列,以及 **EfficientFormer**。MobileVit 通过结合 CNN 和 Transformer 的优势,实现了轻量级视觉模型,特别适合移动设备。MobileFormer 则通过并行结构融合了 MobileNet 和 Transformer,增强了模型的局部和全局表达能力。
56 8
【AI系统】Transformer 模型小型化
|
18天前
|
存储 人工智能 PyTorch
【AI系统】模型转换流程
本文详细介绍了AI模型在不同框架间的转换方法,包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件,而规范式转换则通过一个中间标准格式(如ONNX)作为桥梁,实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节,以及模型转换工具的概览,帮助用户解决训练环境与部署环境不匹配的问题。
35 5
【AI系统】模型转换流程
|
18天前
|
机器学习/深度学习 存储 人工智能
【AI系统】模型转换基本介绍
模型转换技术旨在解决深度学习模型在不同框架间的兼容性问题,通过格式转换和图优化,将训练框架生成的模型适配到推理框架中,实现高效部署。这一过程涉及模型格式转换、计算图优化、算子统一及输入输出支持等多个环节,确保模型能在特定硬件上快速、准确地运行。推理引擎作为核心组件,通过优化阶段和运行阶段,实现模型的加载、优化和高效执行。面对不同框架的模型文件格式和网络结构,推理引擎需具备高度的灵活性和兼容性,以支持多样化的应用场景。
44 4
【AI系统】模型转换基本介绍
|
18天前
|
机器学习/深度学习 人工智能 算法
【AI系统】模型压缩基本介绍
模型压缩旨在通过减少存储空间、降低计算量和提高计算效率,降低模型部署成本,同时保持模型性能。主要技术包括模型量化、参数剪枝、知识蒸馏和低秩分解,广泛应用于移动设备、物联网、在线服务系统、大模型及自动驾驶等领域。
59 4
【AI系统】模型压缩基本介绍

热门文章

最新文章