开源SOTA:阶跃发布端到端语音大模型Step-Audio 2 mini!

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 大家好,今天阶跃星辰正式发布最强开源端到端语音大模型 Step-Audio 2 mini,该模型在多个国际基准测试集上取得 SOTA 成绩。

大家好,今天阶跃星辰正式发布最强开源端到端语音大模型 Step-Audio 2 mini,该模型在多个国际基准测试集上取得 SOTA 成绩。

 

它将语音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的 Tool Calling 能力,可实现联网搜索等操作。

一句话总结,Step-Audio 2 mini “听得清楚、想得明白、说得自然”。模型现已上线 GitHub、ModelScope 等平台,欢迎大家下载、试用并反馈。

性能 SOTA

Step-Audio 2 mini 在多个关键基准测试中取得 SOTA 成绩,在音频理解、语音识别、翻译和对话场景中表现突出,综合性能超越 Qwen-Omni 、Kimi-Audio 在内的所有开源端到端语音模型,并在大部分任务上超越 GPT-4o Audio。

 

image.gif 编辑

  • 在通用多模态音频理解测试集 MMAU 上,Step-Audio 2 mini 以 73.2 的得分位列开源端到端语音模型榜首;
  • 在衡量口语对话能力的 URO Bench 上, Step-Audio 2 mini 在基础与专业赛道均拿下开源端到端语音模型最高分,展现出优秀的对话理解与表达能力;
  • 在中英互译任务上, Step-Audio 2 mini 优势明显,在 CoVoST 2 和 CVSS 评测集上分别取得 39.3 和 29.1 的分数,大幅领先 GPT-4o Audio 和其他开源语音模型;
  • 在语音识别任务上,Step-Audio 2 mini 取得多语言和多方言第一。其中开源中文测试集平均 CER(字错误率) 3.19,开源英语测试集平均 WER(词错误率) 3.50,领先其他开源模型 15% 以上。

 

image.gif 编辑

论文链接:https://arxiv.org/abs/2507.16632

真端到端架构,轻松听懂“弦外之音”

过往的 AI 语音常被吐槽智商、情商双低。一是“没知识”,缺乏文本大模型一样的知识储备和推理能力;二是“冷冰冰”,听不懂潜台词,语气、情绪、笑声这些“弦外之音”。Step-Audio 2 mini 通过创新架构设计,有效解决了此前语音模型存在的问题,做到“走脑又走心”。

  • 真端到端多模态架构:Step-Audio 2 mini 突破传统 ASR+LLM+TTS 三级结构,实现原始音频输入到语音响应输出的直接转换,架构更简洁、时延更低,并能有效理解副语言信息与非人声信号。

 

image.gif 编辑

图:Step-Audio 2 mini 模型架构图

  • CoT 推理结合强化学习:Step-Audio 2 mini 在端到端语音模型中首次引入链式思维推理(Chain-of-Thought, CoT)与强化学习联合优化,能对情绪、语调、音乐等副语言和非语音信号进行精细理解、推理并自然回应。
  • 音频知识增强模型支持包括 web 检索等外部工具,有助于模型解决幻觉问题,并赋予模型在多场景扩展上的能力。

案例分享

下面的案例生动地展示了 Step-Audio 2 的能力。无论是大自然的声音、精湛的配音,还是实时信息搜索,它都能精确理解,展现了在处理复杂音频任务上的巨大潜力。

精准识别,听懂万物之声

Step-Audio 2 mini 像一位听力超棒的音乐家,能分清鸟叫、流水、车声和发条玩具声这四种不同的“音符”。它甚至能听出汽车声中的“激情”——引擎加速和呼啸而过,而不只是冷冰冰地告诉你:“这是车。”

实时搜索,随时获得行业最新资讯

聊到 OpenAI 最新动态,Step-Audio 2 mini 通过工具调用搜索,迅速挖掘出最新语音模型资讯。

语速控制,轻松拿捏

此前,我们发布了同系列满血版 Step Audio 2,现已上线阶跃AI App。打开首页,点击右上角“电话”按钮,即可与模型进行实时对话,体验“深度聆听”和“多音色切换”功能。

不止对话,一起深度思考

当被问及“爱美是自由还是枷锁”这类哲学难题时,Step-Audio 2 mini 能将抽象问题转化为“购物前问自己三个问题”的极简方法论。这背后强大的逻辑推理能力,不仅能引导用户厘清思路,更能找到解决问题的具体路径。

欢迎体验

Step-Audio 2 mini 现已上线阶跃星辰开放平台,欢迎体验和反馈。

 

 

image.gif 编辑

体验地址:https://realtime-console.stepfun.com

点击链接,即可跳转模型~

https://www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini

目录
相关文章
|
27天前
|
存储 人工智能 前端开发
从需求到研发全自动:如何基于Multi-Agent架构打造AI前端工程师
本文深入阐述了蚂蚁消金前端团队打造的Multi-Agent智能体平台——“天工万象”的技术实践与核心思考。
512 20
从需求到研发全自动:如何基于Multi-Agent架构打造AI前端工程师
|
28天前
|
编解码 自然语言处理
通义万相开源14B数字人Wan2.2-S2V!影视级音频驱动视频生成,助力专业内容创作
今天,通义万相的视频生成模型又开源了!本次开源Wan2.2-S2V-14B,是一款音频驱动的视频生成模型,可生成影视级质感的高质量视频。
379 29
|
21天前
|
人工智能 自然语言处理 文字识别
RAG效果不佳?先别急着微调模型,这几个关键节点才是优化重点
本文深入探讨了RAG(Retrieval Augmented Generation)技术的实现细节与优化策略,指出在AI应用开发中,RAG常被视为黑盒导致问题定位困难。文章从文档分块(Chunking)、索引增强(语义增强与反向HyDE)、编码(Embedding)、混合检索(Hybrid Search)到重排序(Re-Ranking)等关键环节进行了详细解析,强调需结合具体场景对各模块进行调优,以提升召回率与精确率的平衡,并倡导从快速使用走向深度优化的实践路径。
486 31
RAG效果不佳?先别急着微调模型,这几个关键节点才是优化重点
|
27天前
|
SQL 运维 监控
抖音基于Flink的DataOps能力实践
本文整理自抖音集团数据工程师黄鑫在Flink Forward Asia 2024的分享,围绕抖音实时数据研发的现状与挑战、DataOps能力建设及未来规划展开,涵盖需求管理、开发测试、发布运维等全流程实践,旨在提升数据质量与开发效率,实现高效稳定的数据交付。
158 18
抖音基于Flink的DataOps能力实践
|
14天前
|
存储 并行计算 调度
迈向可编程观测:在GPU Kernel中构建类eBPF风格的性能探针
本文旨在梳理作者学习路径,带领读者共同探索 GPU Kernel 性能分析从宏观到微观的技术演进。
244 24
迈向可编程观测:在GPU Kernel中构建类eBPF风格的性能探针
|
24天前
|
机器学习/深度学习 人工智能 数据处理
混元开源又+1:视频音效可以自动生成了
AI生成的视频音效,已经可以用于视频制作了。
159 18
人工智能 安全 IDE
319 31
人工智能 关系型数据库 分布式数据库
205 19
|
28天前
|
JSON 自然语言处理 运维
不只是告警:用阿里云可观测 MCP 实现 AK 高效安全审计
本文介绍了运维工程师小王如何通过阿里云操作审计日志与MCP结合,快速排查一次AK异常访问事件。借助自然语言查询技术,小王实现了对敏感操作、高风险行为及Root账号使用的实时追踪与分析,提升了安全响应效率与系统可控性。
212 33

热门文章

最新文章