通义百聆语音交互模型开源,创新架构可节省近50%GPU计算!

简介: 通义百聆开源新一代语音模型Fun-Audio-Chat-8B,支持语音对语音交互,具备出色共情与情绪感知能力,对话自然流畅。在多项基准测试中超越同级模型,采用高效低算力架构,GPU计算成本降低近50%。支持角色扮演与个性化语音定制,适用于情感陪伴、智能客服等场景,现已开放下载。

刚刚,通义百聆家族开源新一代语音交互模型 Fun-Audio-Chat-8B。该模型在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall 等多项权威基准测评中,斩获SOTA,超过一众同量级开源模型。这款新模型兼具高智商和高情商,具备出色的共情能力,与之对话,仿佛与懂你的人聊天。image.png

通义百聆系列语音模型

作为通义大模型家族全新的语音大模型系列,通义百聆已有成员包括“会说话”的语音转文字模型Fun-ASR、“听得懂”的文字转语音模型Fun-CosyVoice3。最新开源的模型Fun-Audio-Chat-8B主打语音对语音功能——“能听会说”,用户可与模型音频对话,适用于语音聊天、情感陪伴、智能设备和语音客服等多种场景。即日起,用户可在魔搭社区、HuggingFace和GitHub下载模型自行体验。

模型开源下载地址:

ModelScope

https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B

HuggingFace

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

GitHub

https://github.com/FunAudioLLM/Fun-Audio-Chat

高效低算力架构,节省近50%GPU计算

在加入大规模语音、多模态能力后,Fun-Audio-Chat-8B还能保持“原有智商”,得益于两个创新的音频模型训练模式。

一是采用Core-Cocktail两阶段训练策略,先快速学新本事,再把“新本事”和“老底子”融合起来,为了避免学新东西把原来的能力忘掉(灾难性遗忘),第一阶段训练得到的模型和原始的纯文本大模型参数合并后,再进行微调。

二是与人类偏好对齐。通过多阶段和多任务的后训练设计,模型在真实对话场景中能更好地理解用户语音内容与情绪线索,作出更自然、更符合人类期望的回应。

此外,Fun-Audio-Chat-8B的高效低算力架构也是重大创新,通过压缩-自回归-解压缩的双分辨率端到端设计,音频帧率降到业界最低的5Hz,在保证语音质量的同时节省近50%GPU计算。
image.png

出色共情对话能力,可自动感知用户情绪

// 无提示词、情绪标签下可自动感知用户情绪

没有任何情绪标签或提示词的情况下,该模型能通过用户的语义、语气、语速、停顿、重音等细微信号,感知对方的情绪状态,并给出恰到好处的关切、安慰或鼓励式回应。

比如用户说:“我一个人走在回家的路上,有人已经跟了我两个街区了。”模型会回应:“别怕,我陪你一起走这段路,好吗?”并提醒用户找到灯亮、人多的地方,甚至询问是否需要帮忙给家人发条消息确认位置。

// 支持角色扮演等量身定制语音

用户还可尝试角色扮演,量身定制语音的情绪、说话风格、语速、高低音和音量等。

比如当用户提出“你是一名兴奋的电竞解说员”时,模型会回应一段激情的现场解说。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
3月前
|
编解码 人工智能 语音技术
📢 我们发布了新一代端到端语音交互模型 Fun-Audio-Chat!
通义百聆开源Fun-Audio-Chat(8B),支持端到端语音交互,具备情感感知与任务执行能力。在多榜单同尺寸模型中排名第一,支持高精度语音理解、情感识别与Function Call,高效低延迟,已全面开放代码与权重,欢迎体验!
1759 10
|
存储 Java Linux
10分钟入门Flink--安装
本文介绍Flink的安装步骤,主要是Flink的独立部署模式,它不依赖其他平台。文中内容分为4块:前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。
10分钟入门Flink--安装
|
3月前
|
存储 人工智能 安全
无影GPU云电脑,焕新升级!
在AI与3D技术爆发时代,阿里云「无影云AI工作站」以RTX 5880 Ada GPU打造云端超级终端,提供192GB显存、4K低延迟体验,支持实时渲染、AIGC、数字人直播。全球11地部署、按需付费、数据加密安全可控,免本地硬件投入,让创意与科研高效前行。
|
2月前
|
人工智能 自然语言处理 Shell
🦞 如何在 OpenClaw (Clawdbot/Moltbot) 配置阿里云百炼 API
本教程指导用户在开源AI助手Clawdbot中集成阿里云百炼API,涵盖安装Clawdbot、获取百炼API Key、配置环境变量与模型参数、验证调用等完整流程,支持Qwen3-max thinking (Qwen3-Max-2026-01-23)/Qwen - Plus等主流模型,助力本地化智能自动化。
74061 193
🦞 如何在 OpenClaw (Clawdbot/Moltbot) 配置阿里云百炼 API
|
3月前
|
SQL 人工智能 缓存
阿里云百炼产品月刊【2025年11月】
通义千问本月重磅升级:上线10款多模态与语音模型,涵盖ASR、TTS、视觉语言及翻译;MCP市场新增3个云服务,上架24个电商应用模板;推出实训Agent创客活动,助力高效生成电商视觉内容。
914 10
|
3月前
|
编解码 测试技术 异构计算
通义百聆语音交互模型开源,创新架构可节省近50%GPU计算!
通义百聆开源Fun-Audio-Chat-8B,支持语音对语音交互,在多测评中斩获SOTA。具备共情能力,可感知情绪并自然回应,适用于陪伴、客服等场景,支持角色扮演与定制语音,高效低算力架构节省近50% GPU资源。
717 3
通义百聆语音交互模型开源,创新架构可节省近50%GPU计算!
|
3月前
|
人工智能 自然语言处理 文字识别
Qwen3-Omni新升级:声形意合,令出智随!
Qwen3-Omni-Flash-2025-12-01是全新升级的全模态大模型,支持文本、图像、音频、视频输入,实现自然语音与文本同步输出。全面优化音视频理解与生成,支持多轮流畅对话、自定义人设与系统指令,提升多语言及跨模态交互准确性,语音更拟人,图像视频理解更深入,打造“声形意合”的智能交互体验。(239字)
651 0
|
2月前
|
人工智能 搜索推荐 安全
首发240+AI硬件、1500+产品参展,阿里云通义硬件展收官!
阿里云通义硬件展在深圳收官,240+新品首发,1500+产品亮相。OPPO、影石、夸克等联合展示AI手机、智能眼镜、机器人等创新成果,涵盖生活、娱乐、教育、出行多场景,展现AI赋能的未来生活图景。
574 2
首发240+AI硬件、1500+产品参展,阿里云通义硬件展收官!

热门文章

最新文章