❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：支持文字到语音和声音到声音的转换，以及多语言支持。
2. 技术：基于coqui.ai的xtts_v2模型，采用Mel-spectrogram进行特征提取。
3. 应用：广泛应用于视频制作、语言学习、广告配音和游戏开发等领域。

正文（附运行示例）

Clone-voice 是什么

Clone-voice是一款开源的声音克隆工具，基于深度学习技术分析和模拟人类声音，实现声音的高质量克隆。该工具支持包括中文、英文、日语、韩语等在内的16种语言，能将文本转换为语音或将一种声音风格转换为另一种。

Clone-voice的界面友好，操作简单，不需要高性能的硬件支持，适合个人和专业领域使用。其应用场景广泛，包括娱乐、教育、媒体广告和语音交互等，为数字内容创作和个性化声音资源提供新的可能性。

Clone-voice 的主要功能

• 文字到语音转换：用户输入文本，选择音色，工具将生成使用该音色朗读文本的语音。
• 声音到声音转换：用户上传音频文件，选择音色，工具将生成一个新的音频文件，音色与所选音色相似。
• 多语言支持：支持中文、英文、日文、韩文、法文、德文、意大利文等16种语言。
• 在线录制声音：用户能直接用工具在线录制声音。

Clone-voice 的技术原理

• 基础模型：工具所用模型为coqui.ai推出的xtts_v2。
• 数据预处理：对输入的音频文件进行采样率转换和分帧等预处理操作，为后续的特征提取和模型训练搭建基础。
• 特征提取：用Mel-spectrogram对音频信号进行表示，将音频信号转换为适合机器学习模型处理的图像形式。

如何运行 Clone-voice

预编译版使用方法

1. 点击此处打开Releases下载页面，下载预编译版主文件(1.7G) 和 模型(3G)。
2. 下载后解压到某处，比如 E:/clone-voice 下。
3. 双击 app.exe ，等待自动打开web窗口，请仔细阅读cmd窗口的文字提示,如有错误，均会在此显示。
4. 模型下载后解压到软件目录下的 tts 文件夹内。
5. 转换操作步骤：

• 选择【文字->声音】按钮，在文本框中输入文字、或点击导入srt字幕文件，然后点击“立即开始”。
• 选择【声音->声音】按钮，点击或拖拽要转换的音频文件(mp3/wav/flac)，然后从“要使用的声音文件”下拉框中选择要克隆的音色，如果没有满意的，也可以点击“本地上传”按钮，选择已录制好的5-20s的wav/mp3/flac声音文件。或者点击“开始录制”按钮，在线录制你自己的声音5-20s，录制完成点击使用。然后点击“立即开始”按钮。

源码部署方法

1. 要求 python 3.9->3.11, 并且提前安装好 git-cmd 工具，下载地址。
2. 创建空目录，比如 E:/clone-voice, 在这个目录下打开 cmd 窗口，方法是地址栏中输入 cmd, 然后回车。使用git拉取源码到当前目录 git clone git@github.com:jianchang512/clone-voice.git .。
3. 创建虚拟环境 python -m venv venv。
4. 激活环境，win下 E:/clone-voice/venv/scripts/activate。
5. 安装依赖: pip install -r requirements.txt --no-deps。
6. win下解压 ffmpeg.7z，将其中的ffmpeg.exe和app.py在同一目录下, linux和mac 到 ffmpeg官网下载对应版本ffmpeg，解压其中的ffmpeg程序到根目录下，必须将可执行二进制文件 ffmpeg 和app.py放在同一目录下。
7. 首先运行 python code_dev.py，在提示同意协议时，输入 y，然后等待模型下载完毕。
8. 下载完毕后，再启动 python app.py。

资源

• GitHub 仓库：https://github.com/jianchang512/clone-voice
• 环境配置文档：https://github.com/jianchang512/clone-voice/tree/main/docs/prepare_env/install_guide-zh.md
• arXiv 技术论文：https://arxiv.org/pdf/2410.06734

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦