WeNet入驻魔搭Modelscope,助推开源语音社区协同创新

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: WeNet入驻魔搭Modelscope,助推开源语音社区协同创新

继杭州云栖大会,阿里达摩院携手 CCF 开源发展委员会共同推出 AI 模型社区“魔搭” ModelScope以来,达摩院率先向魔搭社区贡献 300 多个经过验证的优质 AI 模型,进行了全面开源开放。澜舟科技、深势科技、智谱 AI等合作机构亦在社区开源业界领先模型,包括视觉、语音、自然语言处理、多模态等 AI 主要方向,并向 AI for Science 等新领域积极探索,覆盖的主流任务超过 60 个。


12月,WeNet作为当前国内最活跃的语音AI领域的开源项目之一,选择入驻魔搭社区ModelScope,将自身领先的模型(例如:WeNet-U2pp_Conformer-语音识别-中文-16k-实时)、以及万小时级大规模开源数据库开放给业内的算法创新者和模型应用者生态。希望通过魔搭对WeNet领先的模型和数据集进行进一步开放共享,与更多的开发者产生链接和交流,并促进以WeNet为框架基础的语音AI领域的算法研究创新,从而为模型及应用的繁荣贡献力量。

魔搭社区作为模型创新和应用的平台,秉承开放中立的原则,欢迎所有AI开发者加入,不断进行全方面的模型创新,在此互相交流、切磋,共同促进算法研究和相关领域的技术进步。

WeNet 开源社区

社区目标是:

  • 推动基于深度学习的语音技术落地
  • 推动开源语音生态建设
  • 助力国产平台和芯片生态体系

社区项目包括(但不限于):

  • wenet 端到端语音识别工具
  • wetts 端到端语音合成工具
  • wekws 端到端唤醒工具
  • wespeaker 端到端声纹识别工具
  • WeTextProcessing 新一代文本正规化/反正规化工具
  • WenetSpeech 一万小时大规模多领域中文语音数据集
  • Opencpop 首个开源中文歌唱合成数据集

以上方案和数据在行业内广泛应用,其面向生产的属性更是深受工业界的好评。

魔搭 × WeNet 开源社区

近期,WeNet 开源社区入驻了魔搭后,开放模型库数据集创空间Notebook等探索功能。

模型库

模型库(Model Hub)是共享机器学习模型、demo演示、数据集和数据指标的地方。用户可以轻松地创建和管理自己的模型库,利用界面或开发环境来便捷地上传、下载相关模型文件,并从 Model Hub 中获取有用的模型和数据集元数据。

image.png

WeNet 开源社区在模型库中提供了用 WenetSpeech 训练的 U2++ Conformer 通用中文语音识别模型,在 PC 端访问链接即可在线体验:

https://modelscope.cn/models/wenet/u2pp_conformer-asr-cn-16k-online

image.png

创空间

创空间(Studio)提供了自由灵活的AI应用展示空间。用户可以基于魔搭平台上模型提供的原子能力,自行搭建与展示不同 AI 应用,包括自定义的模型输入输出,多模型的组合,以及可视化交互展现形式等等。

WeNet 开源社区在创空间中提供了使用 Gradio 构建的语音识别应用展示。

image.png

Notebook

魔搭平台为每位用户提供一定的免费初始算力支持,供用户在 Notebook 内体验模型训练、推理、评估等全流程。

大家在 Notebook 中通过三行代码,即可调用 wenet 端到端语音识别工具提供的语音识别服务。

from modelscope.pipelines import pipeline
p = pipeline('auto-speech-recognition', 'wenet/u2pp_conformer-asr-cn-16k-online')
p('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example.wav')

image.png

数据集

数据集仓库(DatasetHub)用于集中管理数据,支持模型进行训练、预测等,使各类型数据具备易访问、易管理、易共享的特点。数据集支持文本、图像、音频、视频、多模态等多种类型的数据管理。用户可以通过界面、SDK 等方式,轻松地创建、管理和使用数据集。

image.png

WeNet 开源社区在数据集中托管了 WenetSpeech 一万小时大规模多领域中文语音数据集。

image.png

大家通过三行代码即可完成 WenetSpeech 音频和文本的下载,该过程自动完成数据完整性的验证和断点续传。

from modelscope.msdatasets import MsDataset
MsDataset.load(dataset_name='WenetSpeech', namespace='wenet', split='audio')
MsDataset.load(dataset_name='WenetSpeech', namespace='wenet', split='label')

Future work

魔搭旨在降低 AI 的应用门槛,而WeNet开源社区的使命是“让 AI 变得更简单”,两者信念不谋而合。未来WeNet将会和魔搭在更多的模型、开发工具链、智能应用等方面加强合作,共同推动开源生态的建设和创新。期待来自各大科研机构/公司的算法团队一起来交流互鉴、讨论切磋,从而有效促进语音AI领域的蓬勃发展。

相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
相关文章
|
3月前
|
人工智能 资源调度 数据可视化
ModelScope魔搭25年7月发布月报
七月流火,这个夏天火热的开场已然揭开。6月30号,我们在北京举办了首届魔搭开发者大会(ModelScope DevCon 2025),邀请了国内外知名的开源模型,以及头部开源工具的研发团队,与广大开发者共聚一堂进行分享。顶尖的AI 模型首次从线上 Hub走进线下盛会,为大家呈现了一场“模型全明星”盛会。同时我们还邀请了社区开发者参加我们的“搭友之夜”(aka 大规模面基大会)。大会分享场场爆满,现场只能用一句话来描述:“好~多~人~啊”,不提前占位根本挤不进去~~
249 3
|
1月前
|
人工智能 物联网 API
ModelScope魔搭25年9月发布月报
ModelScope魔搭25年9月发布月报
253 10
|
2月前
|
人工智能 物联网 API
ModelScope魔搭25年8月发布月报
🔥 这个夏天,开源热潮比气温更燃!Qwen3、GLM4.5、混元、Wan2.2、Qwen-Image等重磅模型密集发布,MoE、多模态、Agent、生图视频全爆发,ModelScope 全程 Day0 支持,生态持续进化中!
259 0
|
4月前
|
人工智能 移动开发 物联网
ModelScope魔搭25年6月发布月报
从2022年11月的青涩发布,魔搭现今已进入第三个年头,成为中国最大最活跃的开源模型社区,与超过1600万的开发者同行。
255 6
|
5月前
|
开发框架 人工智能 安全
ModelScope魔搭25年5月发布月报
不知不觉间,日历已经翻过了立夏,而开源模型的世界中似乎并没有春夏秋冬。在刚刚过去的四月份,见证了开源社区又一次蓬勃发展的浪潮。以Qwen3家族为代表,一系列新模型的开源为整个生态注入了新的活力。通过全面覆盖多种规格的 dense 与 MoE 模型架构,Qwen3 首次在开源模型中引入“快思考与慢思考” 双模式的支持,获得了广大开发者的热烈欢迎,成为新一代开源大模型的标杆之作。
236 10
|
7月前
|
存储 人工智能 数据可视化
ModelScope魔搭25年3月发布月报
在这个春天里,小鲸鱼的DeepSeek-R1系列在模型社区掀起的巨大浪潮尚未平息,我们又迎来了千问的QwQ-32B正式版本,社区在Reasoning模型上的热情还在升温。除此之外,业界其他模型在过去一
200 1
|
8月前
|
编解码 API 开发工具
ModelScope魔搭25年2月版本发布月报
新春佳节的鞭炮声已经渐渐远去,在刚刚过去的一个月里,小鲸鱼给全球的开发者带来了一个不平凡的春节。DeepSeek-R1一系列开源模型的发布,给大家带来了惊喜和震动。所有人的热情,也给ModelScope社区带来了前所未见的巨大下载需求和流量,在这个月里,我们进行了数次紧急扩容和线上优化,尽量为大家提供更好的支持与服务。非常感谢大家的陪伴和理解,我们会持续进行平台优化和开源工具的建设,服务好整个开源社区。
296 9
|
9月前
|
存储 IDE 开发工具
ModelScope魔搭25年1月版本发布月报
随着2025年帷幕的缓缓拉开,ModelScope团队怀着新年新气象的美好期许,为广大开发者带来了1月份的重磅更新。
375 13
|
10月前
|
人工智能 API 开发工具
ModelScope魔搭12月版本发布月报
为了给开发者提供更便捷的开源模型API访问方式,我们正式启动了 ModelScope API-Inference 的公测。在开源工具链方面,我们进行了ModelScope 1.21.0的新版本发布,提供了llamafile的集成以及模型加载/下载链路的优化,SWIFT 3.0大版本也已经合并主干,在这个基础上新模型的支持会更加顺畅与便利。
409 3
ModelScope魔搭12月版本发布月报
|
11月前
|
存储 数据可视化 API
ModelScope魔搭11月版本发布月报
ModelScope 11月更新来袭!本次更新依然是干货满满的一期。