分享一款刚开源上线3天的音乐人声分离工具!无需联网!页面化操作!

简介: 分享一款刚开源上线3天的音乐人声分离工具!无需联网!页面化操作!

前言


人声分离 是一项重要的音频处理技术,它可以将混合音频中的 人声和背景音乐 分离出来,为音频处理和后期制作提供了便利。


随着人声分离技术的发展,越来越多的开源工具被开发出来,为音频处理领域带来了新的发展机遇。小编之前也体验过不少人声分离 开源项目工具。分离效果有好的,有差的,参差不齐。


今天又逛到一块刚刚开源的人声分离工具 vocal-separate,看小样示例还不错,而且部署也比其他GPT产品简单些,还有编译好的Windows版工具可直接使用。


项目简介


vocal-separate 是一款极简的人声和背景音乐分离工具。可直接本地网页化操作,无需连接外网,使用了 2stems/4stems/5stems 模型。


项目地址:https://github.com/jianchang512/vocal-separate


支持视频(mp4/mov/mkv/avi/mpeg)和音频(mp3/wav)格式。


使用方法


1、预编译Win版


  • 直接在项目Release页面下载预编译文件

  • 解压到本地某目录下,如:E:\vocal-separate
  • 双击 start.exe ,等待自动打开浏览器窗口

  • 点击页面中的上传区域,在弹窗中找到想分离的音视频文件,或直接拖拽音频文件到上传区域,然后点击“立即分离”,稍等片刻,底部会显示每个分离文件以及播放控件,点击播放。

  • 如果电脑拥有英伟达GPU,并正确配置了CUDA环境,将自动使用CUDA加速


2、源码部署(Linux/Mac/Window)


要求 python 3.9->3.11

1)拉取 vocal-separate 拉取源码到指定目录

git clone git@github.com:jianchang512/vocal-separate.git

2)创建Python虚拟环境(根据本地安装的虚拟env软件来)


3)激活环境

# win下命令 
%cd%/venv/scripts/activate
# linux和Mac下命令 
source ./venv/bin/activate

4)安装依赖

pip install -r requirements.txt

5)ffmpeg工具准备

win下解压 ffmpeg.7z,将其中的ffmpeg.exe和ffprobe.exe放在项目目录下

linux和mac 到 ffmpeg官网下载对应版本ffmpeg,解压其中的ffmpeg和ffprobe二进制程序放到项目根目录下


6)下载模型压缩包

在项目根目录下的 pretrained_models 文件夹中解压,解压后,pretrained_models中将有3个文件夹,分别是2stems/3stems/5stems


7)执行 python start.py ,等待自动打开本地浏览器窗口。


网页打开后,跟Win编译版使用方法一样。


具体使用详情


将一首歌曲或者含有背景音乐的音视频文件,拖拽到本地网页中,即可将其中的人声和音乐声分离为单独的音频wav文件,可选单独分离“钢琴声”、“贝斯声”、“鼓声”等。


自动调用本地浏览器打开本地网页,模型已内置,无需连接外网下载。


只需点两下鼠标,一选择音视频文件,二启动处理。


总结


作者将相关资源包,部署依赖都说的非常详细,直接根据步骤一步步安装即可。针对单独的音乐原声分离效果还是Ok的。如果是视频、影视、音乐等混合,可能还不是特别完美,还有优化的空间。

相关文章
|
Linux 编译器 数据安全/隐私保护
Windows10 使用MSYS2和VS2019编译FFmpeg源代码-测试通过
FFmpeg作为一个流媒体的整体解决方案,在很多项目中都使用了它,如果我们也需要使用FFmpeg进行开发,很多时候我们需要将源码编译成动态库或者静态库,然后将库放入到我们的项目中,这样我们就能在我们的项目中使用FFmpeg提供的接口进行开发。关于FFmpeg的介绍这里就不过多说明。
739 0
|
人工智能 算法 数据挖掘
【技术揭秘】解锁声纹技术中的说话人日志
说话人日志(speaker diarization)也叫说话人分离,它是从一个连续的多人说话的语音中切分出不同说话人的片段,并且判断出每个片段是哪个说话人的过程。借助说话人日志技术可以完成对音频数据流的结构化管理,具有广泛的应用价值,例如可以利用分离结果进行说话人自适应,以提高语音识别的准确率;可以辅助会议、电话数据进行自动转写构建说话人的音频档案;也可以利用说话人分离技术,实现语料库的自动跟踪和标注。
【技术揭秘】解锁声纹技术中的说话人日志
|
7月前
|
人工智能 JavaScript Java
从零开始教你打造一个MCP客户端
Anthropic开源了一套MCP协议,它为连接AI系统与数据源提供了一个通用的、开放的标准,用单一协议取代了碎片化的集成方式。本文教你从零打造一个MCP客户端。
5798 5
|
3月前
阿里云产品六月刊来啦
阿里云百炼应用开发能力全新升级 ,通义灵码新增行间建议预测,PAI 重磅发布模型权重服务,详情请点击阿里云产品六月刊
124 0
|
7月前
|
SQL 人工智能 搜索推荐
通义灵码 Rules 来了:个性化代码生成,对抗模型幻觉
通义灵码又上新外挂啦,Project Rules来了。当模型生成代码不精准,试下通义灵码 Rules,对抗模型幻觉,硬控 AI 根据你的代码风格和偏好生成代码和回复。
1291 7
|
6月前
|
数据采集 XML 存储
Headers池技术在Python爬虫反反爬中的应用
Headers池技术在Python爬虫反反爬中的应用
|
机器学习/深度学习 人工智能 算法
免费背景音人声分离解决方案MVSEP-MDX23,足以和Spleeter分庭抗礼
在音视频领域,把已经发布的混音歌曲或者音频文件逆向分离一直是世界性的课题。音波混合的物理特性导致在没有原始工程文件的情况下,将其还原和分离是一件很有难度的事情。 言及背景音人声分离技术,就不能不提Spleeter,它是一种用于音频源分离(音乐分离)的开源深度学习算法,由Deezer研究团队开发。使用的是一个性能取向的音源分离算法,并且为用户提供了已经预训练好的模型,能够开箱即用,这也是Spleeter泛用性高的原因之一,关于Spleeter,请移步:[人工智能AI库Spleeter免费人声和背景音乐分离实践(Python3.10)](https://v3u.cn/a_id_305),这里
免费背景音人声分离解决方案MVSEP-MDX23,足以和Spleeter分庭抗礼
|
10月前
|
机器学习/深度学习 人工智能 达摩院
ClearerVoice-Studio:阿里通义开源的语音处理框架,提供语音增强、分离和说话人提取等功能
ClearerVoice-Studio 是阿里巴巴达摩院通义实验室开源的语音处理框架,集成了语音增强、分离和音视频说话人提取等功能。该框架基于复数域深度学习算法,能够有效消除背景噪声,保留语音清晰度,并提供先进的预训练模型和训练脚本,支持研究人员和开发者进行语音处理任务。
1756 3
ClearerVoice-Studio:阿里通义开源的语音处理框架,提供语音增强、分离和说话人提取等功能
|
11月前
|
人工智能 并行计算 监控
深入剖析 Qwen2.5 - 32B 模型在 VLLM 上的单机三卡部署与运行
本文深入探讨了Qwen2.5 - 32B模型在VLLM框架上的部署过程,从模型下载、启动命令、资源占用分析到GPU资源分配及CUDA图应用,详述了大模型运行的挑战与优化策略,强调了硬件资源规划与技术调优的重要性。
6416 2
|
机器学习/深度学习 人工智能 自然语言处理
CosyVoice 与 SenseVoice:阿里FunAudioLLM两大语音生成项目的深度评测
近年来,基于大模型的语音人工智能技术发展迅猛,为自然语音人机交互带来新的可能。通义语音大模型无疑是这一领域的佼佼者。它涵盖了语音理解与语音生成两大核心能力,可支持多种语音任务,包括多语种语音识别、语种识别、情感识别、声音事件检测以及语音合成等
3379 1