通义百聆语音交互模型开源,创新架构可节省近50%GPU计算!

简介: 通义百聆开源新一代语音模型Fun-Audio-Chat-8B,支持语音对语音交互,具备出色共情与情绪感知能力,对话自然流畅。在多项基准测试中超越同级模型,采用高效低算力架构,GPU计算成本降低近50%。支持角色扮演与个性化语音定制,适用于情感陪伴、智能客服等场景,现已开放下载。

刚刚,通义百聆家族开源新一代语音交互模型 Fun-Audio-Chat-8B。该模型在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall 等多项权威基准测评中,斩获SOTA,超过一众同量级开源模型。这款新模型兼具高智商和高情商,具备出色的共情能力,与之对话,仿佛与懂你的人聊天。image.png

通义百聆系列语音模型

作为通义大模型家族全新的语音大模型系列,通义百聆已有成员包括“会说话”的语音转文字模型Fun-ASR、“听得懂”的文字转语音模型Fun-CosyVoice3。最新开源的模型Fun-Audio-Chat-8B主打语音对语音功能——“能听会说”,用户可与模型音频对话,适用于语音聊天、情感陪伴、智能设备和语音客服等多种场景。即日起,用户可在魔搭社区、HuggingFace和GitHub下载模型自行体验。

模型开源下载地址:

ModelScope

https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B

HuggingFace

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

GitHub

https://github.com/FunAudioLLM/Fun-Audio-Chat

高效低算力架构,节省近50%GPU计算

在加入大规模语音、多模态能力后,Fun-Audio-Chat-8B还能保持“原有智商”,得益于两个创新的音频模型训练模式。

一是采用Core-Cocktail两阶段训练策略,先快速学新本事,再把“新本事”和“老底子”融合起来,为了避免学新东西把原来的能力忘掉(灾难性遗忘),第一阶段训练得到的模型和原始的纯文本大模型参数合并后,再进行微调。

二是与人类偏好对齐。通过多阶段和多任务的后训练设计,模型在真实对话场景中能更好地理解用户语音内容与情绪线索,作出更自然、更符合人类期望的回应。

此外,Fun-Audio-Chat-8B的高效低算力架构也是重大创新,通过压缩-自回归-解压缩的双分辨率端到端设计,音频帧率降到业界最低的5Hz,在保证语音质量的同时节省近50%GPU计算。
image.png

出色共情对话能力,可自动感知用户情绪

// 无提示词、情绪标签下可自动感知用户情绪

没有任何情绪标签或提示词的情况下,该模型能通过用户的语义、语气、语速、停顿、重音等细微信号,感知对方的情绪状态,并给出恰到好处的关切、安慰或鼓励式回应。

比如用户说:“我一个人走在回家的路上,有人已经跟了我两个街区了。”模型会回应:“别怕,我陪你一起走这段路,好吗?”并提醒用户找到灯亮、人多的地方,甚至询问是否需要帮忙给家人发条消息确认位置。

// 支持角色扮演等量身定制语音

用户还可尝试角色扮演,量身定制语音的情绪、说话风格、语速、高低音和音量等。

比如当用户提出“你是一名兴奋的电竞解说员”时,模型会回应一段激情的现场解说。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
5月前
|
编解码 人工智能 语音技术
📢 我们发布了新一代端到端语音交互模型 Fun-Audio-Chat!
通义百聆开源Fun-Audio-Chat(8B),支持端到端语音交互,具备情感感知与任务执行能力。在多榜单同尺寸模型中排名第一,支持高精度语音理解、情感识别与Function Call,高效低延迟,已全面开放代码与权重,欢迎体验!
2158 10
|
存储 Java Linux
10分钟入门Flink--安装
本文介绍Flink的安装步骤,主要是Flink的独立部署模式,它不依赖其他平台。文中内容分为4块:前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。
10分钟入门Flink--安装
|
开发者
语雀
简要讲述语雀文档编辑器的注册使用及个人感受
语雀
|
5月前
|
人工智能 Java Serverless
AgentScope Java 答疑时间:开发者近期最关心的12个问题
近日,AgentScope Java V1.0 版本正式发布,全面对齐 Python 版核心能力,为 Java 开发者带来了构建企业级 Agentic 应用强大的开源方案。在最近与 DataWhale 合作的 AgentScope Java 解读线上直播间中,我们收到了大家的热情提问。为了方便大家集中查阅,我们整理了其中最高频的 Q&A,由 AgentScope Java 的核心开发者为大家一次性说清讲透!
1263 55
|
5月前
|
存储 人工智能 安全
无影GPU云电脑,焕新升级!
在AI与3D技术爆发时代,阿里云「无影云AI工作站」以RTX 5880 Ada GPU打造云端超级终端,提供192GB显存、4K低延迟体验,支持实时渲染、AIGC、数字人直播。全球11地部署、按需付费、数据加密安全可控,免本地硬件投入,让创意与科研高效前行。
|
5月前
|
弹性计算 搜索推荐 异构计算
租用阿里云服务器一年要多少钱?38元、68元、99元和199元多个配置选择
阿里云服务器租用价格多样,轻量应用服务器38元起/年,ECS云服务器99元起/年,2核2G至8核32G多种配置可选,香港节点25元/月起,GPU服务器按需计费,活动优惠力度大,新老用户同享,详情可查官方活动页。
783 8
|
5月前
|
SQL 人工智能 缓存
阿里云百炼产品月刊【2025年11月】
通义千问本月重磅升级:上线10款多模态与语音模型,涵盖ASR、TTS、视觉语言及翻译;MCP市场新增3个云服务,上架24个电商应用模板;推出实训Agent创客活动,助力高效生成电商视觉内容。
1059 10
|
5月前
|
人工智能 自然语言处理 安全

热门文章

最新文章