在MoneyPrinterPlus中使用本地chatTTS语音模型

简介: chatTTS是一个开源的优秀语音合成工具,现在你可以在MoneyPrinterPlus中轻松的使用本地chatTTS模型来为视频生成语音了。

之前MoneyPrinterPlus在批量混剪,一键AI生成视频这些功能上的语音合成功能都用的是云厂商的语音服务,比阿里云,腾讯云和微软云。

云厂商虽然提供了优质的语音服务,但是用起来还是要收费。

为了各位小伙伴的钱包,现在特意给MoneyPrinterPlus上线了本地chatTTS语音服务。

赶紧来体验吧。

软件准备

当然,前提条件就是你需要下载MoneyPrinterPlus软件啦。

下载地址: https://github.com/ddean2009/MoneyPrinterPlus

用得好的朋友,不妨给个star支持一下。 在软件v4.0版本之后,MoneyPrinterPlus已经全面开始支持本地模型。

安装chatTTS

我们可以直接从chatTTS的官网上 https://github.com/2noise/ChatTTS 下载chatTTS的源代码:

git clone https://github.com/2noise/ChatTTS
cd ChatTTS

安装依赖:

pip install --upgrade -r requirements.txt

运行web-UI:

python examples/web/webui.py

运行api-server:

fastapi dev examples/api/main.py --host 0.0.0.0 --port 8000

这里注意,web-ui的默认端口是8080, api-server的端口是8000。

MoneyPrinterPlus需要连接的是8000端口的api-server。

web-UI只是为了展示怎么配置音色的一个展示用的。

我们打开 http://localhost:8080/ 可以看到类似下面的页面:

image-20240715173317089

点击生成按钮,如果能够成功合成音频文件,那么说明你的chatTTS安装成功了。

在MoneyPrinterPlus中使用ChatTTS

回到MoneyPrinterPlus,我们启动MoneyPrinterPlus,在基本配置页面我们可以看到:本地语音TTS的选项。

image-20240715173442224

这里我们选择chatTTS,并且设置chatTTS api server的地址。

上面我们是以8000启动的api server,所以这里我们就输入:http://127.0.0.1:8000/。

接下来点击视频混剪区,在视频配音区选择本地模型:

image-20240715173642900

我们可以得到下面的界面:

image-20240715173714939

解释一下各个参数的作用:

是否口语化对应chatTTS的口语化开关,如果启动口语化,chatTTS会自动对输入的文案进行口语化调整。所以默认是不开启的。

Text Seed是控制口语化模型处理的种子,你可以随意调整。

Audio Temperature控制音频情感波动性,范围为 0-1,数字越大,波动性越大

top_P :控制音频的情感相关性,范围为 0.1-0.9,数字越大,相关性越高

top_K :控制音频的情感相似性,范围为 1-20,数字越小,相似性越高

Refine text Prompt是指在口语化过程中添加的一些参数。如果不懂的话可以不修改。

本地chatTTS音色目录,默认在项目的chattts目录中。

现在我在chattts目录中预先放置了2种音色文件。

一种是txt文件,一种是pt文件。

你可以自行添加更多的音色文件到chattts目录中。

那么有小伙伴要问了,txt或者pt文件是怎么来的呢?

先讲一个简单的pt文件,你可以在 https://modelscope.cn/studios/ttwwwaa/ChatTTS_Speaker 这个空间中试听和下载对应的语音文件:

image-20240715174400937

把下载下来的pt文件,放在MoneyPrinterPlus中的chattts目录即可。

txt文件是怎么来的呢?

我们再次回到chatTTS的webUI界面:

image-20240715174512706

这个txt就是这里的Speaker Embedding的内容。

你可以点击右上角的拷贝按钮,新建一个utf-8编码的txt文件。 把这个txt文件放到MoneyPrinterPlus中的chattts目录即可。

如果你不想用已有的音色文件,那么可以点击使用随机声音按钮:

image-20240715174635106

会出现一个Audio Seed选项,这个seed就是用来控制Audio音色的。

有了这些配置之后,点击试听声音,如果能听到声音就说明你的chatTTS在MoneyPrinterPlus中配置成功了。

接下来就可以使用本地的chatTTS来合成语音啦。

点我查看更多精彩内容:www.flydean.com

相关文章
|
7月前
|
Web App开发 机器学习/深度学习 语音技术
在ModelScope-FunASR中,语音识别系统中的声音活动检测
在ModelScope-FunASR中,语音识别系统中的声音活动检测【4月更文挑战第3天】
315 1
|
达摩院 Java 大数据
达摩院FunASR实时语音转写服务软件包发布
达摩院FunASR实时语音转写服务软件包发布
976 0
达摩院FunASR实时语音转写服务软件包发布
|
达摩院 语音技术
使用ModelScope社区搭建一个录音情感识别小应用
本文介绍通过ModelScope来完成“语音情绪识别”这一应用,该应用使用两个模型: ● 语音转文本(ASR):paraformer模型 ● 文本情绪识别:达摩院StructBERT中文情感分类模型
1745 3
|
10天前
|
人工智能 物联网 PyTorch
ChatTTSPlus:开源文本转语音工具,支持语音克隆,是 ChatTTS 的扩展版本
ChatTTSPlus 是一个开源的文本转语音工具,是 ChatTTS 的扩展版本,支持语音克隆、TensorRT 加速和移动模型部署等功能,极大地提升了语音合成的性能和灵活性。
57 5
ChatTTSPlus:开源文本转语音工具,支持语音克隆,是 ChatTTS 的扩展版本
|
2月前
|
存储 Serverless API
打造你的专属语音助手,基于函数计算托管 CosyVoice 语音模型
今天分享一下,基于阿里云函数计算 FC 以及 CAP(云应用开发平台),极速托管专属的 CosyVoice 应用。并且我们提供了 API 调用方案以及镜像构建源码方便您根据自己的业务任意 DIY。
438 11
|
2月前
|
机器学习/深度学习 数据采集 语音技术
初学者指南:从零开始探索语音克隆与TTS技术
【10月更文挑战第20天】随着人工智能技术的飞速发展,语音克隆和文本转语音(Text-to-Speech, TTS)技术已经不再是科幻小说中的情节。如今,这些技术已经广泛应用于智能助手、语音导航、有声书等领域。作为一名对这些前沿技术感兴趣的初学者,本文将带你从零开始探索语音克隆与TTS技术,了解其基本原理,并动手实践制作自己的第一个语音克隆样本或TTS应用。
128 0
|
4月前
|
自然语言处理 语音技术 开发者
ChatTTS超真实自然的语音合成模型
ChatTTS超真实自然的语音合成模型
150 3
|
6月前
|
语音技术 开发者
ChatTTS:专为对话场景设计的文本转语音模型,底模开源!
最近,开源社区杀出一匹文本转语音领域的黑马——ChatTTS,在Github上仅4天斩获11.2k star。
ChatTTS:专为对话场景设计的文本转语音模型,底模开源!
|
5月前
|
人工智能 Linux Windows
MoneyPrinterPlus全面支持本地Ollama大模型
现在,MoneyPrinterPlus除了支持大模型厂商的服务之外,还可以接入本地的Ollama大模型了。
|
6月前
|
语音技术
【手把手教学】最新ChatTTS语音合成项目使用指南【附所有源码与模型】
【手把手教学】最新ChatTTS语音合成项目使用指南【附所有源码与模型】
下一篇
DataWorks