❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦
🚀 快速阅读
- 功能:支持文字到语音和声音到声音的转换,以及多语言支持。
- 技术:基于coqui.ai的xtts_v2模型,采用Mel-spectrogram进行特征提取。
- 应用:广泛应用于视频制作、语言学习、广告配音和游戏开发等领域。
正文(附运行示例)
Clone-voice 是什么
Clone-voice是一款开源的声音克隆工具,基于深度学习技术分析和模拟人类声音,实现声音的高质量克隆。该工具支持包括中文、英文、日语、韩语等在内的16种语言,能将文本转换为语音或将一种声音风格转换为另一种。
Clone-voice的界面友好,操作简单,不需要高性能的硬件支持,适合个人和专业领域使用。其应用场景广泛,包括娱乐、教育、媒体广告和语音交互等,为数字内容创作和个性化声音资源提供新的可能性。
Clone-voice 的主要功能
- 文字到语音转换:用户输入文本,选择音色,工具将生成使用该音色朗读文本的语音。
- 声音到声音转换:用户上传音频文件,选择音色,工具将生成一个新的音频文件,音色与所选音色相似。
- 多语言支持:支持中文、英文、日文、韩文、法文、德文、意大利文等16种语言。
- 在线录制声音:用户能直接用工具在线录制声音。
Clone-voice 的技术原理
- 基础模型:工具所用模型为coqui.ai推出的xtts_v2。
- 数据预处理:对输入的音频文件进行采样率转换和分帧等预处理操作,为后续的特征提取和模型训练搭建基础。
- 特征提取:用Mel-spectrogram对音频信号进行表示,将音频信号转换为适合机器学习模型处理的图像形式。
如何运行 Clone-voice
预编译版使用方法
- 点击此处打开Releases下载页面,下载预编译版主文件(1.7G) 和 模型(3G)。
- 下载后解压到某处,比如 E:/clone-voice 下。
- 双击 app.exe ,等待自动打开web窗口,请仔细阅读cmd窗口的文字提示,如有错误,均会在此显示。
- 模型下载后解压到软件目录下的
tts
文件夹内。 - 转换操作步骤:
- 选择【文字->声音】按钮,在文本框中输入文字、或点击导入srt字幕文件,然后点击“立即开始”。
- 选择【声音->声音】按钮,点击或拖拽要转换的音频文件(mp3/wav/flac),然后从“要使用的声音文件”下拉框中选择要克隆的音色,如果没有满意的,也可以点击“本地上传”按钮,选择已录制好的5-20s的wav/mp3/flac声音文件。或者点击“开始录制”按钮,在线录制你自己的声音5-20s,录制完成点击使用。然后点击“立即开始”按钮。
源码部署方法
- 要求 python 3.9->3.11, 并且提前安装好 git-cmd 工具,下载地址。
- 创建空目录,比如 E:/clone-voice, 在这个目录下打开 cmd 窗口,方法是地址栏中输入
cmd
, 然后回车。使用git拉取源码到当前目录git clone git@github.com:jianchang512/clone-voice.git .
。 - 创建虚拟环境
python -m venv venv
。 - 激活环境,win下
E:/clone-voice/venv/scripts/activate
。 - 安装依赖:
pip install -r requirements.txt --no-deps
。 - win下解压 ffmpeg.7z,将其中的
ffmpeg.exe
和app.py
在同一目录下, linux和mac 到 ffmpeg官网下载对应版本ffmpeg,解压其中的ffmpeg
程序到根目录下,必须将可执行二进制文件ffmpeg
和app.py放在同一目录下。 - 首先运行
python code_dev.py
,在提示同意协议时,输入y
,然后等待模型下载完毕。 - 下载完毕后,再启动
python app.py
。
资源
- 项目官网:https://ai-bot.cn/clone-voice/
- GitHub 仓库:https://github.com/jianchang512/clone-voice
- 环境配置文档:https://github.com/jianchang512/clone-voice/tree/main/docs/prepare_env/install_guide-zh.md
- arXiv 技术论文:https://arxiv.org/pdf/2410.06734
❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
🥦 微信公众号|搜一搜:蚝油菜花 🥦