让歌手的声音永远“活下去”实现数字永生!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 数字人源码,数字永生

很多人比较感兴趣的一个话题是“数字永生”:即便有一天真人不在了,他也可以通过数字化的形象住在虚拟的元宇宙里,按照生前的思维、性格和习惯继续存在、获得永生。声音的数字是基于声音克隆真人的声音出来,让声音永久活下去!

当然,“数字永生”(数字永生:zhibo175)的想法目前还有点天马行空,模仿人类思维的技术迄今为止仍未出现。不过,人类的声音却是能够模仿的,而且还有公司已经打造了能够以假乱真的AI系统。
让歌手的声音“活下去”:AI可以模仿歌手唱新歌

随着AI语音成为娱乐新业务的核心部分,声音克隆技术可能并不算什么新鲜事。

去年,韩国SM娱乐联合韩国电信发布了艺人AI语音提示服务,选用了EXO伯贤、Red Velvet Joy和NCT泰容等艺人的声音。2月份的时候,游戏公司NCSoft在他们的粉丝社区平台Universe开启了虚拟通话服务,粉丝们可以通过该服务与他们喜欢的偶像进行(AI语音)通话。
image.png

声音克隆技术可以让观众听到歌手在虚拟音乐会期间叫他们的名字,或许可以跟他们说“生日快乐”,全球的粉丝都可以用自己听得懂的语言收到来自韩国艺人的真实问候。

不可否认,用AI模仿真人唱歌的方法是可取的,而且是很有创意的。除了音乐行业之外,游戏业也能够将该技术用于和知名艺人的深度联动,让音乐与游戏重叠用户得到更个性化的体验。

声音克隆 - 音频采集规范:

1、音频时长

有效音频时长20分钟,如果带口音,音频建议不少于30分钟;

2、录音准备

根据不同使用需求,准备5000字左右的文本内容,内容和应用场景(朗读、直播、日常讲话等)语境相符;

3、录音环境

录音环境安静,环境底噪小于40dB,可使用“分贝仪”APP测试录音环境底噪;

录制时保持无回音、无混响、无噪声等;

4、录音设备及录音参数

录音设备推荐降噪麦克风/小蜜蜂,条件允许建议使用防风棉衣或防喷罩; 推荐使用48kHz采样率录制音频;

推荐无损音质格式保存音频,如: wav、 fiv、m4a,不能使用压缩格式保存音频,如:mp3;

5、录音人

录音人不宜离麦太近,防止喷麦和录入呼吸声连贯说完一句话; 发音清晰、吐字清楚,句与句之间断句清楚; 句与句之间停顿1~2秒; 保持语境风格一致,避免多种情绪混杂。

将真人声音克隆出来,那就意味着歌手可以用声音的方式“永生”他的声音及歌声继续存在,实现永生的目的!

相关文章
|
机器学习/深度学习 存储 编解码
如何提取歌曲副歌(高潮)
### 摘要 副歌就是我们日常说的高潮。 副歌分析属于MIR领域的一个小分支,MIR(Music information retrieval)是从音乐中检索信息的跨学科科学,该领域需要数学、乐理、信号处理、机器学习、概率、算法等学科的背景知识。 ### 业界类似方案 - 1:根据能量值、音高区间差异定位 - 2:根据动态歌词定位 - 3:谱聚类&能量值 第一种方式太简单暴
如何提取歌曲副歌(高潮)
|
人工智能 Python
但凡再用笔写一个字,把电脑吃了! | 让AI帮你告别写字
但凡再用笔写一个字,把电脑吃了! | 让AI帮你告别写字
114 0
但凡再用笔写一个字,把电脑吃了! | 让AI帮你告别写字
|
JavaScript
💃接着奏乐!接着舞!让文字随着音乐跃动吧!
💃接着奏乐!接着舞!让文字随着音乐跃动吧!
167 0
|
机器学习/深度学习 人工智能 自然语言处理
现实版「柯南变声器」来了,搜狗变声让你声音随心变
声音秒变志玲姐姐,秒变「矮大紧」,秒变萝莉、正太,现在通通不是问题!
597 0
现实版「柯南变声器」来了,搜狗变声让你声音随心变
|
传感器 机器人 芯片
恢复哆啦A梦听觉!实装蝗虫耳朵,生物机器人可以“听到”声音,还能进行区分和响应
恢复哆啦A梦听觉!实装蝗虫耳朵,生物机器人可以“听到”声音,还能进行区分和响应
147 0
|
机器学习/深度学习 算法 自动驾驶
加拿大小哥用树莓派做了一个狗子探测器:实时识别路过的狗子,还能向狗主人“表白”
加拿大小哥用树莓派做了一个狗子探测器:实时识别路过的狗子,还能向狗主人“表白”
222 0
|
存储 传感器 iOS开发
从宝丽来到数字电影——图像与视频色彩的科学
本文来自Netflix技术博客,讲述了相机和电影行业如何通过技术手段还原图像与视频的原始色彩的。在现代电影制作过程中,这些技术被数字化了。感谢快手视频和图像算法团队的翻译与技术审校。
338 0
从宝丽来到数字电影——图像与视频色彩的科学
|
Kubernetes Cloud Native Java
除了合成大西瓜,我有个大年货送给你
云原生技术与架构实践年货小红书大放送!
除了合成大西瓜,我有个大年货送给你
|
机器学习/深度学习 人工智能 算法