语音

SeniorTalk是由智源研究院与南开大学联合推出的全球首个中文超高龄老年人对话语音数据集，包含202位75岁及以上老年人的55.53小时语音数据，涵盖16个省市的不同地域口音。

ChildMandarin是由智源研究院与南开大学联合推出的开源语音数据集，包含41.25小时3-5岁儿童普通话语音数据，覆盖中国22个省级行政区，为儿童语音识别和语言发展研究提供高质量数据支持。

Dolphin是清华大学与海天瑞声联合研发的语音识别大模型，支持40种东方语言和22种中文方言，采用CTC-Attention混合架构，词错率显著低于同类模型。

ElevenLabs推出的Text to Bark是全球首个能将文本转换为逼真狗吠声的AI模型，支持多种犬种选择并适配智能家居设备，其核心技术基于深度神经网络训练。

PaddleSpeech是百度飞桨团队推出的开源语音处理工具包，集成语音识别、合成、翻译等核心技术，基于PaddlePaddle框架提供高性能解决方案。

EmotiVoice是网易有道开源的多语言语音合成系统，支持中英文2000多种音色，通过提示词控制情感输出，提供Web界面和API接口，具备语音克隆等先进功能。

Oliva是一款基于Langchain和Superlinked的开源语音RAG助手，通过实时语音交互在Qdrant向量数据库中进行语义搜索，支持多智能体协作处理复杂查询任务。

MoshiVis 是 Kyutai 推出的开源多模态语音模型，结合视觉与语音输入，支持实时交互，适用于无障碍应用、智能家居控制等多个场景。

Soundwave 是香港中文大学（深圳）开源的语音理解大模型，专注于语音与文本的智能对齐和理解，支持语音翻译、语音问答、情绪识别等功能，广泛应用于智能语音助手、语言学习等领域。

GPT-4o-mini-transcribe 是 OpenAI 推出的语音转文本模型，基于 GPT-4o-mini 架构，采用知识蒸馏技术，适合在资源受限的设备上运行，具有高效、实时和高性价比的特点。

GPT-4o mini TTS 是 OpenAI 推出的轻量级文本转语音模型，支持多语言、多情感控制，适用于智能客服、教育学习、智能助手等多种场景。

WhisperChain 是一款基于 Whisper.cpp 和 LangChain 的开源语音识别工具，能够实时将语音转换为文本，并自动清理和优化文本内容，适用于会议记录、写作辅助等多种场景。

OSUM 是西北工业大学开发的开源语音理解模型，支持语音识别、情感分析、说话者性别分类等多种任务，基于 ASR+X 训练策略，具有高效和泛化能力强的特点。

Step-Audio 是由阶跃星辰团队推出的开源语音交互模型，支持多语言、方言和情感表达，能够实现高质量的语音识别、对话和合成。本文将详细介绍其核心功能和技术原理。

Zonos 是 ZyphraAI 推出的开源多语言 TTS 模型，支持语音克隆、情感控制和多种语言，适用于有声读物、虚拟助手等场景。

TIGER 是清华大学推出的轻量级语音分离模型，通过时频交叉建模和多尺度注意力机制，显著提升语音分离效果，同时降低参数量和计算量。

Hibiki 是由 Kyutai Labs 开发的实时语音翻译模型，能够将一种语言的语音实时翻译成另一种语言的语音或文本，支持高保真度和低延迟。

小红书开源的工业级自动语音识别模型，支持普通话、中文方言和英语，采用 Encoder-Adapter-LLM 和 AED 架构，实现 SOTA 性能。

SpeechGPT 2.0 是复旦大学 OpenMOSS 团队推出的端到端实时语音交互模型，具备拟人口语化表达、低延迟响应和多情感控制等功能。

百聆是一款开源的AI语音对话助手，结合ASR、VAD、LLM和TTS技术，提供低延迟、高质量的语音对话体验，适用于边缘设备和低资源环境。

Kokoro-TTS 是一款轻量级文本转语音模型，支持多语言和多语音风格生成，具备实时处理能力和低资源占用，适用于多种应用场景。

Weebo 是一款基于 Whisper Small、Llama 3.2 和 Kokoro-82M 技术的 AI 语音聊天机器人，支持实时语音交互和多语言对话，适用于个人助理、娱乐互动和教育辅导等多种场景。

RealtimeSTT 是一款开源的实时语音转文本库，支持低延迟应用，具备语音活动检测、唤醒词激活等功能，适用于语音助手、实时字幕等场景。

TangoFlux 是由英伟达与新加坡科技设计大学联合开发的文本到音频生成模型，能够在3.7秒内生成30秒的高质量音频，支持文本到音频的直接转换和用户偏好优化。

3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目，结合声学、语义和视觉信息，提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码，以及大规模多设备、多距离、多方言的数据集，适用于多种应用场景。

Freestyler是由西北工业大学、微软和香港大学联合推出的说唱乐生成模型，能够根据歌词和伴奏直接生成说唱音乐。该模型基于语言模型生成语义标记，并通过条件流匹配模型和神经声码器生成高质量音频。Freestyler还推出了RapBank数据集，支持零样本音色控制和多种应用场景。

CosyVoice 2.0 是阿里巴巴通义实验室推出的语音生成大模型升级版，通过有限标量量化技术和块感知因果流匹配模型，显著提升了发音准确性、音色一致性和音质，支持多语言和流式推理，适合实时语音合成场景。

ChatTTSPlus 是一个开源的文本转语音工具，是 ChatTTS 的扩展版本，支持语音克隆、TensorRT 加速和移动模型部署等功能，极大地提升了语音合成的性能和灵活性。

Clone-voice是一款开源的声音克隆工具，支持16种语言，能够将文本转换为语音或将一种声音风格转换为另一种。该工具基于深度学习技术，界面友好，操作简单，适用于多种应用场景，如视频制作、语言学习和广告配音等。

ClearerVoice-Studio 是阿里巴巴达摩院通义实验室开源的语音处理框架，集成了语音增强、分离和音视频说话人提取等功能。该框架基于复数域深度学习算法，能够有效消除背景噪声，保留语音清晰度，并提供先进的预训练模型和训练脚本，支持研究人员和开发者进行语音处理任务。

Fish Speech 1.5 是由 Fish Audio 推出的先进文本到语音（TTS）模型，支持13种语言，具备零样本和少样本语音合成能力，语音克隆延迟时间不到150毫秒。该模型基于深度学习技术如Transformer、VITS、VQVAE和GPT，具有高度准确性和快速合成能力，适用于多种应用场景。

Voice-Pro是一款开源的多功能音频处理工具，集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言，适用于教育、娱乐和商业等多个领域，为用户提供一站式的音频处理解决方案，极大地提高工作效率和音频处理的便捷性。