
本文将围绕开源 AI 语音克隆工具 VoiceStudio 展开,涵盖下载安装、本地部署与核心功能实操,希望能带来一些实用的参考。无论你是想做 AI 配音的内容创作者,还是想研究本地语音模型的开发者,希望你都能有所收获!
在 AI 语音合成领域,ElevenLabs 的效果有口皆碑,但按量计费、音频必须上传云端这两点,让不少做配音和有声书的创作者望而却步。GitHub 上收获 10.8 万 star 的开源项目 VoiceStudio 给出了另一种答案:把语音克隆、声音设计、视频配音、听写转写、有声书制作全部搬到自己的电脑上本地运行,支持 646 种语言,无需联网、无需账号、无需 API 密钥。本文基于当前最新的 v0.5.1 版本,把安装、克隆、配音到 API 自动化的完整流程一次讲透。
为方便网络环境受限的读者,安装包也整理了一份离线下载地址(与官方 Release 同版本):
https://share.wangpanso.cn/s/voicestudio
目录
- 一、VoiceStudio 是什么:把 ElevenLabs 搬回本地
- 二、下载与安装:五大平台一条命令搞定
- 三、五步跑通第一次语音克隆
- 四、进阶玩法:视频配音、有声书与 API 自动化
- 五、硬件要求与性能参考
- 六、避坑清单
- 七、总结
- 八、常见问题 FAQ
一、VoiceStudio 是什么:把 ElevenLabs 搬回本地
VoiceStudio 是一款 AGPL-3.0 协议开源的本地 AI 语音工作台,默认引擎为 k2-fsa/OmniVoice,同时在模型管理器里提供数十种可切换引擎(CosyVoice、IndexTTS 2.5、whisper.cpp、faster-whisper 等),模型权重全部下载到本机,推理过程不经过任何云端。
先通过一张表建立整体认知:
| 维度 | 说明 |
|---|---|
| 开源协议 | AGPL-3.0(应用本体,含商用条款) |
| 项目热度 | GitHub 108k star / 12k fork |
| 语言支持 | 646 种语言,中文支持完整 |
| 默认引擎 | k2-fsa/OmniVoice,可切换数十种引擎 |
| 运行平台 | Windows、macOS、Linux、Docker、Android、iOS/iPadOS |
| 加速方案 | NVIDIA CUDA、AMD ROCm、Apple Metal、Vulkan、纯 CPU |
六大核心能力对应六类工作区,覆盖了语音内容生产的完整链路:
- 语音克隆:一段 10~15 秒的干净参考录音,即可零样本合成该音色的任意文本语音;
- 声音设计:用文字描述想要的音色(如"低沉的男声、语速偏慢"),直接生成一个全新声音;
- 视频配音:自动转写、翻译并按原片时间轴重新配音,支持多说话人分离与口型同步;
- 听写转写:全局悬浮听写小窗 + 本地语音转文字,默认引擎为 Whisper Tiny;
- 有声书与批量:故事、有声书项目持久化存储,支持队列批量渲染;
- 连接与自动化:本地 REST API(兼容 OpenAI
/v1/audio/speech路由)、MCP 协议、CLI、监视文件夹与可复用配方。
与 ElevenLabs 相比,它的核心差异不在单句音质的天花板,而在数据主权与成本结构:音频不出本机,适合对隐私敏感的素材;没有按字符计费,批量跑一本 30 万字的有声书也只消耗你自己的电费和 GPU 时间。
二、下载与安装:五大平台一条命令搞定
VoiceStudio 的安装体验做得相当省心,主流平台都是一行命令。模型文件在首次使用对应功能时才按需下载,应用会先询问再下载,不会一上来就占用几十 GB 磁盘。
2.1 Windows(10/11 x64)
PowerShell 中执行:
irm https://voicestudio.sh/install.ps1 | iex
安装器会自动配置 Python 后端环境。NVIDIA 显卡默认走 CUDA 加速;AMD 显卡可以在官方文档的 ROCm 指引中按步骤启用(目前为实验性支持,面向 RX 6000 系列部分型号);无独显则纯 CPU 运行,可用但速度较慢。
2.2 macOS(13.3+,Apple Silicon)
Apple Silicon 芯片通过 Metal 加速,推荐 Homebrew 安装:
brew tap debpalash/tap
brew install --cask debpalash/tap/voicestudio
也可以用官方一行脚本:
curl -fsSL https://voicestudio.sh/install | sh
注意:Intel Mac 只支持界面运行并连接其他电脑上的后端,本地推理需要 Apple Silicon。首次打开如果提示"VoiceStudio 已损坏",这是 Gatekeeper 拦截而非安装包损坏,按官方文档中的 Gatekeeper 处理指引操作即可。
2.3 Linux
发行版覆盖非常全,按自己的包管理习惯选择:
# Ubuntu / Debian / Mint(DEB 包)
sudo apt install ./VoiceStudio-*-linux-x64.deb
# Snap(Ubuntu / Fedora / openSUSE 等)
sudo snap install voicestudio
# 启用麦克风权限(听写功能需要)
sudo snap connect voicestudio:audio-record
# Arch / Manjaro(AUR)
yay -S voicestudio-bin
# 任意发行版(AppImage)
chmod +x VoiceStudio-*-linux-x64.AppImage
./VoiceStudio-*-linux-x64.AppImage
2.4 Docker(服务器部署首选)
export OMNIVOICE_API_KEY="$(openssl rand -hex 32)"
docker run -d --name omnivoice \
-p 127.0.0.1:3900:3900 \
-e OMNIVOICE_API_KEY \
-e OMNIVOICE_DATA_DIR=/app/omnivoice_data \
-v omnivoice-data:/app/omnivoice_data \
ghcr.io/debpalash/voicestudio:stable
printf 'API key: %s\n' "$OMNIVOICE_API_KEY"
启动后访问 http://localhost:3900,输入命令行打印的 API key 即可进入 Web 界面。镜像同时提供 NVIDIA CUDA 与 AMD ROCm 变体,Docker Hub 上有同名镜像 palashdeb/omnivoice-studio:stable。
2.5 手机端
Android 10+ 提供 APK(也可通过 F-Droid 仓库或 Obtainium 安装),iOS/iPadOS 17+ 提供 IPA 侧载包,模型下载完成后即可完全离线使用:
adb install -r VoiceStudio-*-android.apk
2.6 首次启动
安装完成后打开 Voice cloning 工作区,选择一个内置演示声音或上传参考录音,输入文本点生成——应用此时才会询问是否下载对应模型。所有引擎和模型都由模型管理器统一管理,需要哪个装哪个,不用的可以卸载释放空间。
三、五步跑通第一次语音克隆
以最常见的"用自己的声音配音"为例,完整流程如下:
- 准备参考录音:一段 10~15 秒的干净人声,环境安静、无背景音乐、无混响,手机录音即可满足要求。v0.5.1 起无转录文本的参考音频上限为 75 秒,更长的片段需要先裁剪;
- 进入 Voice cloning 工作区:上传参考录音,或直接在声音画廊(Gallery)里选用预置音色;
- 输入目标文本:支持中文在内的 646 种语言,中英混读也可以直接写;
- 生成并微调:点击生成,等待本地推理完成。想控制语气可以在文本里插入表情标签,比如在句中加
[happy]、[sad]标记情绪切换; - 保存声纹:试听满意后把声音存入声音库,后续任何工作区(配音、有声书、听写)都能直接复用。
几个提升克隆质量的经验:
- 参考音频质量决定一切:底噪、混响、电流声都会被模型一起"学"进去,宁短勿脏;
- 文本标点影响停顿:合理使用逗号和句号,合成语音的呼吸感会自然很多;
- 没有自己的录音也能玩:先用声音设计功能文字生成一个音色,或者直接用画廊里的预置声音。
合规提醒(重要):仅克隆你自己拥有的声音,或已获得声音所有者明确授权的录音;未经授权克隆他人声音属于违规使用,项目方也在许可协议中明确禁止冒充、欺诈等用途。
四、进阶玩法:视频配音、有声书与 API 自动化
4.1 视频配音:翻译、对轴、多说话人一条龙
把视频拖进 Dubbing 工作区,VoiceStudio 会自动完成转写、翻译、按原片时间轴重新配音三步。多说话人视频会先做说话人分离,每个人物分配独立音色;口型同步默认开启,导出的成片会把配音语言标记为默认音轨,同时保留原始音轨可选。
4.2 有声书与批量任务
Stories 与 Audiobook 工作区支持把长文本按章节组织成项目,排队批量渲染,项目数据持久化在本地数据库中,大项目也不会因为重启丢失。配合监视文件夹(watch folders),把 txt 文件丢进指定目录就能自动触发合成,适合定期更新的内容管线。
4.3 本地 API 与 MCP:接进你自己的工作流
后端常驻后暴露本地 REST API,且提供 OpenAI 兼容路由,现有调用 OpenAI TTS 的代码只需改地址和密钥即可切换到本地推理:
curl http://127.0.0.1:3900/v1/audio/speech \
-H "Authorization: Bearer $OMNIVOICE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"omnivoice","input":"你好,欢迎使用本地语音合成","voice":"demo"}' \
--output speech.wav
它还内置了 MCP 服务端,在 Claude Code、Cursor 等支持 MCP 的编码助手里配置后,AI 助手可以直接调用语音合成能力;CLI 则适合写脚本批量处理。开发者甚至可以把一句话指令直接丢给编码代理:"安装 VoiceStudio 并验证可用",官方提供了面向 agent 的安装文档。
五、硬件要求与性能参考
| 配置档 | 硬件 | 体验预期 |
|---|---|---|
| 入门 | 纯 CPU + 8GB 内存 | 完全可用,合成速度慢,转写可接受 |
| 主流 | NVIDIA 显卡(CUDA) | 实时率以上,批量任务流畅 |
| AMD | RX 6000 系部分型号(ROCm,实验性) | 部分工作负载可 GPU 加速 |
| Mac | Apple Silicon(Metal/MPS) | 日常使用流畅,M 系芯片体验良好 |
| 兼容方案 | AMD/Intel/NVIDIA 显卡 + Vulkan | 仅 GGUF 引擎(OmniVoice、CosyVoice)可用 |
补充三点:
- 内存红线在 8GB:安装向导会做预检,系统可用内存略低于 8GB 也能通过;强行在更小内存的机器上跑大模型容易触发系统杀进程;
- 无显卡不等于不能用:纯 CPU 下合成有 10 分钟执行预算的超时保护,短句合成和转写完全够用;
- 磁盘空间按需增长:每个引擎的模型从几百 MB 到数 GB 不等,模型管理器里可以随时卸载。
六、避坑清单
- macOS 提示"应用已损坏":不是包坏了,是 Gatekeeper 拦截了未公证应用,按官方文档的 Gatekeeper 指引处理,不要反复重新下载;
- Snap 版听写没反应:默认没有麦克风权限,执行
sudo snap connect voicestudio:audio-record后重启应用; - 克隆效果像但"闷":大概率参考音频有混响或压限过度,换一段安静的干声录音重试;
- 长文本合成中途失败:纯 CPU 模式有 10 分钟执行预算,超长段落请拆分批量提交,或切换 GPU 引擎;
- Docker 部署后局域网访问 403:配置了 API key 的服务端会拒绝匿名访问,远程浏览器访问时会自动出现 key 登录表单,输入启动时打印的 key 即可;
- AMD 显卡走了 CPU:源码运行时需要设置
OMNIVOICE_TORCH_VARIANT=rocm让启动器换装 ROCm 版 torch,v0.5.1 已修复此前每次启动回退 CPU 的问题。
七、总结
最后复盘一下本文要点:
- VoiceStudio 是 AGPL-3.0 开源的本地 AI 语音工作台,被普遍视为 ElevenLabs 的本地平替,支持 646 种语言,108k star;
- 全平台安装都很轻量:Windows 一行 PowerShell、macOS 一行 Homebrew、Linux 五种包格式、Docker 一条 run 命令,模型按需下载;
- 语音克隆五步跑通:干净录音、选声音、输文本、生成、存声纹,参考音频质量决定成片质量;
- 进阶能力覆盖视频配音(自动转写翻译对轴)、有声书批量渲染、本地 API 与 MCP 自动化,可以嵌入现有工作流;
- 硬件门槛低:8GB 内存纯 CPU 可用,NVIDIA/AMD/Apple Silicon/Vulkan 多档加速可选;
- 使用红线只有一条:仅克隆自己拥有或已获授权的声音。
八、常见问题 FAQ
Q1:VoiceStudio 免费吗?商用要付费吗?
应用本体遵循 AGPL-3.0 开源,按协议条款商用免费;官方另有面向多人多设备的 Pro 商业授权与即将上线的 Cloud API,属于可选项,不用也不影响本机全部功能。
Q2:和直接调 ElevenLabs API 比,效果差距多大?
英文场景 OmniVoice 与主流商业方案差距已经不大;中文场景建议在引擎目录里多试几个引擎对比。优势在于零成本批量与数据不出本地,劣势是首次模型下载占用磁盘。
Q3:模型下载很慢怎么办?
模型走 Hugging Face 下载,网络受限时可以配置镜像环境变量,或使用文首整理的离线安装包先把应用本体装好。
Q4:支持显卡列表里没有我的 AMD 卡,还有救吗?
GGUF 引擎支持 Vulkan 加速,不限品牌;再不行纯 CPU 也能出活,只是慢。
Q5:数据真的不会上传吗?
默认引擎全部本地推理,不注册、不联网也能用(模型下载除外);若你主动把后端暴露到局域网供其他设备访问,注意保管好 API key。
参考资料
- GitHub 仓库:https://github.com/debpalash/VoiceStudio
- 官方安装文档与引擎目录:voicestudio.sh(仓库 README 内含全部入口)
- 开源协议与模型许可说明:仓库内 LICENSE-NOTICE.md
写在最后
VoiceStudio 把"语音克隆 + 配音 + 有声书"这条原本按字符计费的链路,变成了一个跑在自己显卡上的本地工作台,对内容创作者是实打实的成本解放。如果你也在做配音、有声书或者视频本地化,欢迎在评论区聊聊你的使用场景和踩到的坑。感谢观看!