分享一款刚开源上线3天的音乐人声分离工具!无需联网!页面化操作!

简介: 分享一款刚开源上线3天的音乐人声分离工具!无需联网!页面化操作!

前言


人声分离 是一项重要的音频处理技术,它可以将混合音频中的 人声和背景音乐 分离出来,为音频处理和后期制作提供了便利。


随着人声分离技术的发展,越来越多的开源工具被开发出来,为音频处理领域带来了新的发展机遇。小编之前也体验过不少人声分离 开源项目工具。分离效果有好的,有差的,参差不齐。


今天又逛到一块刚刚开源的人声分离工具 vocal-separate,看小样示例还不错,而且部署也比其他GPT产品简单些,还有编译好的Windows版工具可直接使用。


项目简介


vocal-separate 是一款极简的人声和背景音乐分离工具。可直接本地网页化操作,无需连接外网,使用了 2stems/4stems/5stems 模型。


项目地址:https://github.com/jianchang512/vocal-separate


支持视频(mp4/mov/mkv/avi/mpeg)和音频(mp3/wav)格式。


使用方法


1、预编译Win版


  • 直接在项目Release页面下载预编译文件

  • 解压到本地某目录下,如:E:\vocal-separate
  • 双击 start.exe ,等待自动打开浏览器窗口

  • 点击页面中的上传区域,在弹窗中找到想分离的音视频文件,或直接拖拽音频文件到上传区域,然后点击“立即分离”,稍等片刻,底部会显示每个分离文件以及播放控件,点击播放。

  • 如果电脑拥有英伟达GPU,并正确配置了CUDA环境,将自动使用CUDA加速


2、源码部署(Linux/Mac/Window)


要求 python 3.9->3.11

1)拉取 vocal-separate 拉取源码到指定目录

git clone git@github.com:jianchang512/vocal-separate.git

2)创建Python虚拟环境(根据本地安装的虚拟env软件来)


3)激活环境

# win下命令 
%cd%/venv/scripts/activate
# linux和Mac下命令 
source ./venv/bin/activate

4)安装依赖

pip install -r requirements.txt

5)ffmpeg工具准备

win下解压 ffmpeg.7z,将其中的ffmpeg.exe和ffprobe.exe放在项目目录下

linux和mac 到 ffmpeg官网下载对应版本ffmpeg,解压其中的ffmpeg和ffprobe二进制程序放到项目根目录下


6)下载模型压缩包

在项目根目录下的 pretrained_models 文件夹中解压,解压后,pretrained_models中将有3个文件夹,分别是2stems/3stems/5stems


7)执行 python start.py ,等待自动打开本地浏览器窗口。


网页打开后,跟Win编译版使用方法一样。


具体使用详情


将一首歌曲或者含有背景音乐的音视频文件,拖拽到本地网页中,即可将其中的人声和音乐声分离为单独的音频wav文件,可选单独分离“钢琴声”、“贝斯声”、“鼓声”等。


自动调用本地浏览器打开本地网页,模型已内置,无需连接外网下载。


只需点两下鼠标,一选择音视频文件,二启动处理。


总结


作者将相关资源包,部署依赖都说的非常详细,直接根据步骤一步步安装即可。针对单独的音乐原声分离效果还是Ok的。如果是视频、影视、音乐等混合,可能还不是特别完美,还有优化的空间。

相关文章
|
1月前
|
人工智能 JavaScript 算法
Playwright携手MCP:AI智能体实现自主化UI回归测试
MCP 协议使得 AI 能够通过 Playwright 操作浏览器,其中快照生成技术将页面状态转化为 LLM 可理解的文本,成为驱动自动化测试的关键。该方式适用于探索性测试和快速验证,但目前仍面临快照信息缺失、元素定位不稳定、成本高、复杂场景适应性差以及结果确定性不足等挑战。人机协同被认为是未来更可行的方向,AI 负责执行固定流程,人类则专注策略与验证。
|
网络协议 应用服务中间件 网络安全
|
7月前
|
SQL 人工智能 搜索推荐
通义灵码 Rules 来了:个性化代码生成,对抗模型幻觉
通义灵码又上新外挂啦,Project Rules来了。当模型生成代码不精准,试下通义灵码 Rules,对抗模型幻觉,硬控 AI 根据你的代码风格和偏好生成代码和回复。
1332 7
|
机器学习/深度学习 人工智能 算法
免费背景音人声分离解决方案MVSEP-MDX23,足以和Spleeter分庭抗礼
在音视频领域,把已经发布的混音歌曲或者音频文件逆向分离一直是世界性的课题。音波混合的物理特性导致在没有原始工程文件的情况下,将其还原和分离是一件很有难度的事情。 言及背景音人声分离技术,就不能不提Spleeter,它是一种用于音频源分离(音乐分离)的开源深度学习算法,由Deezer研究团队开发。使用的是一个性能取向的音源分离算法,并且为用户提供了已经预训练好的模型,能够开箱即用,这也是Spleeter泛用性高的原因之一,关于Spleeter,请移步:[人工智能AI库Spleeter免费人声和背景音乐分离实践(Python3.10)](https://v3u.cn/a_id_305),这里
免费背景音人声分离解决方案MVSEP-MDX23,足以和Spleeter分庭抗礼
|
10月前
|
机器学习/深度学习 人工智能 达摩院
ClearerVoice-Studio:阿里通义开源的语音处理框架,提供语音增强、分离和说话人提取等功能
ClearerVoice-Studio 是阿里巴巴达摩院通义实验室开源的语音处理框架,集成了语音增强、分离和音视频说话人提取等功能。该框架基于复数域深度学习算法,能够有效消除背景噪声,保留语音清晰度,并提供先进的预训练模型和训练脚本,支持研究人员和开发者进行语音处理任务。
1894 3
ClearerVoice-Studio:阿里通义开源的语音处理框架,提供语音增强、分离和说话人提取等功能
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
401 0
|
网络协议 定位技术 网络虚拟化
Trunk扩展及单臂路由
Trunk扩展及单臂路由
429 0
|
机器学习/深度学习 PyTorch 算法框架/工具
【五分钟会,半小时懂】人声分离Demucs
【五分钟会,半小时懂】人声分离Demucs
2664 1
|
编解码 人工智能
DiT架构大一统:一个框架集成图像、视频、音频和3D生成,可编辑、能试玩
【5月更文挑战第23天】研究人员提出Lumina-T2X框架,统一生成和编辑图像、视频、音频及3D内容。使用Flow-based Large Diffusion Transformer (Flag-DiT)模型,实现多模态生成,支持内容编辑。尽管面临训练资源需求高、生成质量不及人类创作等问题,该框架在娱乐、广告等领域有广泛应用潜力。[论文链接](https://arxiv.org/pdf/2405.05945)
387 1
|
自然语言处理 知识图谱 搜索推荐
大语言模型 RAG 论文总结(2023~202404)(3)
大语言模型 RAG 论文总结(2023~202404)
564 0