FunAudioLLM包含SenseVoice和CosyVoice两个模型。FunAudioLLM在性能、功能、技术先进性等方面与国际知名语音大模型的比较如下：
性能比较
多语言语音识别：SenseVoice模型支持超过50种语言，特别是在中文和粤语上识别效果优于现有模型。
情感识别：SenseVoice具备优秀的情感识别能力，能够在测试数据上达到和超过目前最佳情感识别模型的效果。
音频事件检测：支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件的检测。
功能比较
语音理解：SenseVoice模型专注于高精度多语言语音识别、情感辨识和音频事件检测。
语音生成：CosyVoice模型专注于自然语音生成，支持多语言、音色和情感控制。
技术先进性
多语言支持：SenseVoice支持多种语言的语音识别，包括SenseVoice-Small支持的5种语言和SenseVoice-Large支持的50多种语言。
低延迟：SenseVoice-Small具有极低的推理延迟，适用于实时语音交互应用。
高精度：SenseVoice-Large支持超过50种语言的语音识别，并具有高精度识别能力。
情感控制：CosyVoice模型能够生成情感丰富的语音，例如快乐、悲伤、愤怒等，并可以通过指令文本进行精细控制。
应用场景
多语言翻译：通过结合SenseVoice、LLMs以及CosyVoice，可以进行无缝的语音到语音的翻译(S2ST)。
情绪语音对话：支持开发一款情感语音聊天应用程序，完成舒适自然的对话交互过程。
互动播客：能够创造一个互动式播客电台，实时捕捉AI播客和用户的对话。
有声读物：实现具有更高表现力的有声读物，让每个故事和角色都栩栩如生。
综上所述，FunAudioLLM在性能、功能、技术先进性等方面表现出色，特别是在多语言支持、低延迟、高精度情感控制等方面具有明显优势。这些特点使得FunAudioLLM在多语言翻译、情绪语音对话、互动播客、有声读物等应用场景中具有较高的实用价值。
SenseVoice大模型评测流程
1. 准备阶段
- 选定模型:
- 登录PAI控制台，进入相应工作空间的“快速开始”页面。
- 通过模型分类信息找到SenseVoice模型，点击进入模型详情页。
2. 极简模式评测
- 创建评测任务:
- 在模型评测页面，输入评测任务名称。
- 选择评测结果的存储路径，确保路径唯一，避免结果覆盖。
- 选取评测数据集，可选公开数据集或自定义数据集，后者需符合格式要求。
- 选择GPU类型计算资源（如A10或V100），提交评测任务。
3. 专家模式评测（可选）
- 高级配置>:
- 切换至专家模式，可同时选用公开数据集和自定义数据集。
- 对自定义数据集，可指定question和answer列，直接使用OSS中符合格式的文件。
- 提交评测任务后，等待任务完成并查看评测报告。
4. 查看评测结果
- 评测报告获取:
- 在“快速开始”页面的任务管理标签中，选择“模型评测”查看列表。
- 点击“查看报告”，在详情页中查看模型在不同数据集上的评测得分，包括ROUGE和BLEU系列指标。
改进意见
- 数据集多样性：增加更多行业特定的数据集，以提高评测结果的泛化能力和模型在特定场景下的表现。
- 实时监控与反馈：引入实时监控工具，跟踪评测过程中的资源使用情况和模型性能变化，以便及时调整优化策略。
- 自定义指标：允许用户根据实际应用场景自定义评测指标，以更准确地评估模型在特定任务上的效能。
- 迭代优化建议：评测报告中加入基于评测结果的模型优化建议，比如针对低分指标的特定训练建议。
- 资源优化：根据评测结果，提供计算资源使用的优化建议，如调整GPU类型或数量，以平衡性能与成本。
以上流程和建议旨在帮助您高效、全面地评测SenseVoice模型，并根据评测结果进行有效优化。
