通义千问继续开源!阿里云38篇论文被顶会ACL 2024录用

简介: 通义千问继续开源!阿里云38篇论文被顶会ACL 2024录用


近日,阿里通义大模型继续开源,Qwen2系列开源家族新增音频语言模型Qwen2-Audio、新一代数学模型Qwen2-Math。同时,通义团队同步推出了一套全新的音频理解模型测评基准,相关论文已被计算语言学和自然语言处理领域的顶级学术会议国际顶会ACL 2024录用。


值得祝贺的是,在ACL 2024中阿里云今年共有38篇高水平论文被录用。其中包括通义千问团队多篇大模型相关论文,主题涉及大模型SFT技术、LLM角色扮演能力、多模态模型测评基准等。


通义展台被世界各地的NLP 研究人员和开发者围观


通义千问继续开源多模态模型:

Qwen2-Audio音频语言模型


Qwen2-Audio是一款大型音频语言模型(Large Audio-Language Model ,LALM),具备语音聊天和音频分析两种使用模式,较之前一代模型Qwen-Audio,新版模型有了更强的声音理解能力和更好的指令跟随能力。目前该模型在多个权威测评中都显著超越先前的最佳模型。


697adea5be779ca15f27f15dcc925d37.png

Qwen2-Audio 在多个测评中都显著超越了先前的最佳模型


Qwen2-Audio在使用时无需文本输入,可以直接进行语音问答,理解并分析用户输入的音频信号,包括人声、自然音、音乐等。同时还能够自动实现两种模式的切换。目前,Qwen2-Audio已支持超过8种语言和方言,如中文、英语、法语、意大利语、西班牙语、德语、日语,粤语。


让Qwen2-Audio听了一段潘展乐赛后采访


同时,通义团队同步开源了基础模型 Qwen2-Audio-7B 及其指令跟随版本Qwen2-Audio-7B-Instruct,用户可以通过Hugging Face、魔搭社区ModelScope等下载模型,也可以在魔搭社区“创空间”直接体验模型能力。


通义千问开源数学模型:

Qwen2-Math数学专项模型


Qwen2-Math新一代数学模型,包含1.5B、7B、72B三个参数的基础模型和指令微调模型,也已于不久前正式开源。


Qwen2-Math基于通义千问开源大语言模型Qwen2研发,旗舰模型 Qwen2-Math-72B-Instruct在权威测评集MATH上的得分超越GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro、Llama-3.1-405B等,以84%的准确率处理了代数、几何、计数与概率、数论等多种数学问题,成为最先进的数学专项模型。


8b72d069202047d5d9e6754f29065fdc.png

MATH基准测评中,通义千问数学模型的旗舰款Qwen2-Math-72B-Instruct取得了84%的准确率,


通义团队在多个中英文数学基准测评集对指令微调模型作了性能评估,除了 GSM8K 和 MATH等常见的测评基准 ,还引入了更具挑战性的考试竞赛类测试,如奥林匹克级别的基准测评OlympiadBench、大学数学级别的基准测评CollegeMath、高考(GaoKao)、美国数学邀请赛(AIME)2024 赛题、美国数学竞赛( AMC)2023赛题,中文测评则有CMATH测评集、2024年中国高考和中考数学题。最终,Qwen2-Math-72B-Instruct表现优异,在十大测评中都获得了远超其他开源数学模型的成绩。


38篇论文被ACL2024收录:

通义成为ACL现场最受关注的中国大模型


阿里云一直以来都是ACL论文入选数量最高的科技公司之一,今年累计有38篇文章被大会收录,包括16篇主会论文。作为中国大模型“开源开放”力量的代表,通义大模型团队在本次大会披露了多项大模型前沿技术,并在现场与世界各地的NLP研发人员和开发者面对面交流。


部分收录论文

《Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment》首次提出用于大模型角色扮演的自我对齐策略DITTO,显著提升了LLM的角色扮演能力,通义团队已将DITTO开源;


《AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension》介绍了通义团队推出的音频语言理解模型测评基准AIR-Bench,用于评估模型的生成式指令跟随能力,填补了业界空白;


《How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition》通过一系列实验展示了SFT数据如何影响LLM的数学、代码、人类对齐能力,可为研究者和开发者的SFT工作提供借鉴。


e8c42f5d187e6d7423ca49a03677628d.png

海外开发者基于Qwen训练了泰语大模型和东南亚语大模型


自2023年8月以来,通义千问已经开源数十款LLM、多模态和专项能力模型,Qwen系列开源模型下载量超过了2000万。


在东南亚地区,通义千问开源模型也有很多忠实用户,开源社区经常可见基于Qwen训练的泰语、越南语、东南亚语等大模型。比如,新加坡工程师刘乾基于Qwen1.5训练了广受欢迎的东南亚语大模型Sailor,覆盖0.5B、1.8B、4B、7B、14B等全套尺寸;越南语工程师Nguyen Quan开发了越南语大模型,他说:“根据我们内部的基准测评,Qwen2基础模型超越了目前市场上所有的闭源大语言模型”。


8bd3b6272d42c392e950f9ead2219d32.jpg

a70b70095ef6ecb8b31bad59035aac28.jpg

ACL 2024现场参会者给通义的寄语



/ END /

目录
打赏
0
7
8
0
905
分享
相关文章
通义千问团队开源全新的过程奖励模型PRM!
近年来,大型语言模型(LLMs)在数学推理方面取得了显著进展,但它们仍可能在过程中犯错误,如计算错误或逻辑错误,导致得出不正确的结论;即使最终答案正确,这些强大的模型也可能编造看似合理的推理步骤,这削弱了 LLMs 推理过程的可靠性和可信度。
基于阿里云通义千问开发智能写作助手
现代办公中,撰写邮件、会议记录、报告等任务耗费大量时间。一个智能写作助手能显著提升效率,帮助用户快速生成高质量的文本内容。阿里云通义千问作为阿里巴巴推出的强大大语言模型(LLM),具备出色的自然语言理解与生成能力,非常适合用于开发智能写作工具。本博客将介绍如何基于通义千问构建一个智能写作助手,实现高效的内容生成和编辑功能。
172 2
Qwen2.5-VL:阿里通义千问最新开源视觉语言模型,能够理解超过1小时的长视频
Qwen2.5-VL 是阿里通义千问团队开源的视觉语言模型,具有3B、7B和72B三种不同规模,能够识别常见物体、分析图像中的文本、图表等元素,并具备作为视觉Agent的能力。
407 18
Qwen2.5-VL:阿里通义千问最新开源视觉语言模型,能够理解超过1小时的长视频
【阿里云】通义灵码支持 DeepSeek R1 和 V3、Qwen2.5 模型
最近参加了阿里云通义灵码模型切换体验活动,深入体验了DeepSeek R1、V3和Qwen2.5模型。通过简便的注册流程,我轻松参与并测试了不同模型在自然语言处理、计算效率等方面的表现。操作界面清晰,模型切换流畅,性能出色,尤其在大数据处理时表现优异。此外,还获得了Cherry机械键盘等精美奖品。这次体验让我对AI技术有了更深的理解,强烈推荐给AI开发者和爱好者。[立即体验](https://t.aliyun.com/BLkE2b2m)
OmniThink:浙大联合阿里通义开源 AI 写作框架,基于深度思考扩展知识边界,实时展示思考过程
OmniThink 是浙江大学与阿里通义实验室联合开发的机器写作框架,通过模拟人类迭代扩展和反思过程,生成高质量长篇文章,显著提升知识密度和内容深度。
173 12
OmniThink:浙大联合阿里通义开源 AI 写作框架,基于深度思考扩展知识边界,实时展示思考过程
InspireMusic:阿里通义实验室开源的音乐生成模型,支持文本或音频生成多种风格的音乐
阿里通义实验室开源的音乐生成技术,支持通过简单描述快速生成多种风格的高质量音乐作品。
248 4
阿里云通义实验室自然语言处理方向负责人黄非:通义灵码2.0,迈入 Agentic AI
在通义灵码 2.0 发布会上,阿里云通义实验室自然语言处理方向负责人黄非分享了代码大模型的演进。过去一年来,随着大模型技术的发展,特别是智能体技术的深入应用,通义灵码也在智能体的基础上研发了针对于整个软件研发流程的不同任务的智能体,这里既包括单智能体,也包括多智能体合并框架,在这样的基础上我们研发了通义灵码2.0。
191 21
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
495 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
Qwen-Agent:阿里通义开源 AI Agent 应用开发框架,支持构建多智能体,具备自动记忆上下文等能力
Qwen-Agent 是阿里通义开源的一个基于 Qwen 模型的 Agent 应用开发框架,支持指令遵循、工具使用、规划和记忆能力,适用于构建复杂的智能代理应用。
694 10
Qwen-Agent:阿里通义开源 AI Agent 应用开发框架,支持构建多智能体,具备自动记忆上下文等能力
统一多模态Embedding, 通义实验室开源GME系列模型
随着多媒体应用的迅猛发展,用户产生的数据类型日益多样化,不再局限于文本,还包含大量图像、音频和视频等多模态信息。这为信息检索带来了前所未有的挑战与机遇。传统的信息检索模型多关注单一模态,如仅对文本或图像进行分析和搜索。

热门文章

最新文章