【最佳实践系列】零基础上手百炼语音AI模型-阿里云开发者社区

【最佳实践系列】零基础上手百炼语音AI模型

2025-02-10 1932 发布于浙江

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

通义法睿合同智能审查，1个月8份合同免费体验

简介： 阿里云百炼语音AI服务提供了丰富的功能，包括语音识别、语音合成、实时翻译等。通过`alibabacloud-bailian-speech-demo`项目，可以一键调用这些服务，体验语音及大模型的魅力，降低接入门槛。该项目支持Python和Java，涵盖从简单的一句话合成到复杂的同声传译等多个示例，助力开发者快速上手并进行二次开发。

在层出不穷的AI模型爆发的当下，语音识别、语音合成和端到端语音翻译等领域也取得了亮眼的突破和进展。然而，将这些先进的AI模型转化为切实可行的应用并非易事，特别是要将语音AI技术便捷地融入到产品、日常工作和生活之中，开发者仍然面临着挑战和障碍。

要克服这些障碍，除了拥有扎实的技术能力外，还需要创新思维、跨领域协作以及场景化的能力，这是一个不小的门槛，也会影响到AI应用进入千行百业，更好地服务更多的人。为了让每一个人都能轻松使用阿里云百炼的语音服务，最大限度降低开发者接入的门槛，阿里巴巴通义实验室语音团队设计了alibabacloud-bailian-speech-demo项目，希望能让每个人都可以一键调用所有百炼语音AI服务，体验语音及大模型的魅力，助力其进行产品开发。

项目地址：https://github.com/aliyun/alibabacloud-bailian-speech-demo

💡 Alibabacloud-bailian-speech-demo能为您做什么？

如果您是刚接触语音 AI 的开发者，在这里，您只需要执行一条指令：

调用所有先进的语音服务，包括 CosyVoice语音生成大模型、Gummy语音翻译大模型、Paraformer语音识别和 SenseVoice 多语言识别大模型，并将他们和通义千问大模型结合
从麦克风实时识别您说的话，并将文字和标点显示出来
将您输入的文字合成为音频，并通过扬声器播放出来
将您的音视频文件进行转写，获取识别文字的同时，对全部文字进行摘要和总结
克隆您自己的声音，并通过语音合成以您的音色朗读任何文本

如果您是资深开发者，或是希望搭建服务，您可以在这里：

高并发调用语音模型服务的最佳实践（paraformer和cosyvoice）
在大模型语音对话中，从扬声器实时流式朗读大模型生成的文字
低延迟的上屏语音识别实时字幕

我们还提供了在使用语音服务中、编程中遇到的常见问题排查方法和解决方案。

此外，我们还提供了有趣丰富的Gallery，展示语音功能的进阶用法：

调用语音合成大模型，用多种自然的音色，分角色朗读一个故事
调用语音识别大模型、翻译大模型等，制作一个同声传译程序

通过场景化的示例，项目展示了如何通过阿里云百炼的语音大模型服务开发工具包（SDK），实现语音识别、语音合成、音视频内容分析、语音交互等各类AI功能。开发者可以很容易的将这些示例集成进自己的项目中进行二次开发。

‍▎技术方案

>>>开发语言

在示例代码中，我们将提供Python和Java两种百炼SDK的示例项目，并且提供了最简单方便的运行方法：

在Python项目中，直接运行run.py
在Java项目中，提供了一键mvn编译+运行的run.sh脚本

在每一个项目您都可以找到介绍这个项目能做什么，如何实现的README文档。在不同编程语言的子目录中，您可以找到如何具体使用的README说明。

如果您希望通过更多语言接入百炼的语音AI能力，我们也在文档中开放了与模型进行交互的 websocket和http的网络协议。

>>>项目结构

我们的项目分为四个主要部分，按照目录划分：

‍▎快速入门

所有的示例代码都是支持通过环境变量读取您的账号AppKey。

推荐您在运行示例前在终端通过环境变量配置账号，这样您后续无论进入任何项目目录都不需要额外配置。

>>>Windows 系统

$env:DASHSCOPE_API_KEY="YOUR_API_KEY"
# 验证设置生效
echo $env:DASHSCOPE_API_KEY

>>>Linux & MacOS 系统

export DASHSCOPE_API_KEY=YOUR_API_KEY
# 验证设置生效
echo $DASHSCOPE_API_KEY

‍▎原子能力展示

NO.1 合成一句话并保存为音频文件

在这个示例中，演示使用Python 调用cosyvoice-v1模型，使用loongstella音色合成一段文本并保存到mp3文件中。

核心代码如下：

text_to_synthesize = '想不到时间过得这么快！昨天和你视频聊天，看到你那自豪又满意的笑容，我的心里呀，就如同喝了一瓶蜜一样甜呢！真心为你开心呢！'
file_to_save = 'result.mp3'
def synthesize_speech_from_text(text, file_path):
    speech_synthesizer = SpeechSynthesizer(model='cosyvoice-v1',
                                           voice='loongstella',
                                           callback=None)
    audio = speech_synthesizer.call(text)
    with open(file_path, 'wb') as f:
        f.write(audio)
    print(f'Synthesized text {text} to file : {file_path}')
    print('[Metric] requestId: {}, first package delay ms: {}'.format(
        speech_synthesizer.get_last_request_id(),
        speech_synthesizer.get_first_package_delay()))