13.5K Star！支持5国语言+全栈语音生成，这个开源AI语音项目绝了！

嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法

CosyVoice 是由FunAudioLLM团队开发的多语言大语音生成模型，提供从推理、训练到部署的全栈能力。支持中文、英语、日语、韩语、粤语等5种语言，具备零样本语音克隆、跨语言合成、指令控制等前沿功能，可广泛应用于智能客服、有声读物、视频配音等场景。

项目核心亮点

1. 零样本语音克隆

只需3秒参考音频，即可完美复刻目标音色：

prompt_speech = load_wav('参考音频.wav', 16000)
cosyvoice.inference_zero_shot("要生成的文本内容", prompt_speech)


适用场景：个性化语音助手、明星语音包制作

2. 跨语言自由切换

支持中英日韩粤五国语言无缝转换：

cosyvoice.inference_cross_lingual('<|en|>Hello world!', prompt_speech)


应用案例：跨境电商多语种广告配音

3. 指令式语音控制

通过自然语言指令调整语音表现：

cosyvoice.inference_instruct('文本内容', '用四川话说这句话', prompt_speech)


支持情感标记：

text = "他突然[laughter]停下来，因为自己也被逗笑了[laughter]"


4. 实时流式推理

支持逐句生成语音，延迟低于500ms：

def 文本生成器():
   yield "第一句话"
   yield "第二句话"

cosyvoice.inference_zero_shot(文本生成器(), prompt_speech)


5. 专业级语音转换

实现音色迁移与语音风格转换：

cosyvoice.inference_vc(源音频, 目标音色参考音频)


应用场景：影视配音修正、虚拟歌手创作

技术架构解析

（此处建议插入技术架构图）

三步极速体验

环境准备

git clone https://github.com/FunAudioLLM/CosyVoice
docker build -t cosyvoice:v1.0 .


网页演示

python3 webui.py --model_dir pretrained_models/CosyVoice-300M


API调用示例

from cosyvoice import CosyVoice

tts = CosyVoice('pretrained_models/CosyVoice-300M')
for seg in tts.inference_sft("欢迎使用智能语音系统", "中文女"):
   play_audio(seg['tts_speech'])


四、同类项目对比

优势对比：

1. 比传统TTS多出细粒度语音控制能力
2. 比商业方案节省90%成本
3. 支持本地部署保障数据隐私

应用场景拓展

（此处建议插入应用场景信息图）

1. 自媒体创作：10分钟生成多语种视频配音
2. 在线教育：定制虚拟教师语音
3. 游戏开发：快速生成NPC对话语音
4. 智能硬件：打造个性化语音交互系统
5. 影视制作：实现演员语音修复/替换

项目地址

https://github.com/FunAudioLLM/CosyVoice