活动实践 | AI智能体实时语音互动

简介: AI智能体实时语音互动方案提供端到端的实时音频交互,用户通过终端SDK与云端AI智能体进行音频通话。AI智能体接收音频输入,依据预定义工作流处理并生成响应,通过ARTC网络推送结果。该方案支持灵活编排AI组件如语音转文字、大语言模型等,确保高可用、低延迟的通信体验。用户可轻松创建和管理智能体及实时工作流,实现高效对话,并可通过示例网站体验功能。

AI智能体实时语音互动是一个端到端的解决方案,旨在为用户与AI智能体之间提供实时音频交互。用户通过终端SDK发起与云端AI智能体的音频通话请求,AI智能体接收到用户的音频输入后,依据预定义的工作流进行处理,生成相应的音频响应,并通过ARTC网络将响应结果推送给用户。用户可以订阅该音频流进行播放,从而实现与AI智能体的对话。

一、方案架构

AI智能体是本方案的核心组件之一,能够在云端模拟高度拟真的用户交互。用户可以根据需求自行创建智能体。通过灵活的插件式和拖拽式方式,用户可以编排各个AI组件,如语音转文字、大语言模型、语音合成和自研向量数据库等,从而实现AI智能体的实时工作流。实时音视频通信技术(ARTC)为用户与AI智能体之间的音频通话提供了高可用、高品质、超低延时的保障。
image.png

二、创建实时音视频通信应用

实时音视频 ARTC 是智能体和用户之间建立起实时音频通信的基础,实现AI实时互动需要准备一个ARTC应用,参照以下步骤开通并创建ARTC应用。

1、开通视频直播:计费方式选择按使用流量计费,点击右下角立即开通。
image.png

2、单击创建应用。
image.png
image.png

image.png

三、创建AI智能体

1、编排实时工作流

实时工作流是一种预先定义的流程模板,用于自动化处理ARTC音频流。支持创建语音通话并且预设了多种功能节点,包括语音转文字 (STT)、文字转语音 (TTS)、文生文大语言模型(LLM)等。平台提供了可直接选用的预置模板,同时,也支持根据需求创建自定义模板,让智能体自动按照预设好的流程工作。

1、登录智能媒体服务控制台,点击立即开通按钮。
image.png
image.png

2、登录AI实时互动-工作流管理,单击创建工作流模板。
image.png
image.png
image.png

2、创建智能体

AI智能体是在AI实时互动解决方案中定义的高仿真用户,用户可以根据自身需求创建智能体,并将其集成到自己的应用中,使其能够按照既定工作流程在实时音频环境中运行,从而实现实时音频交互功能。

1、登录AI实时互动-智能体管理,单击创建智能体。
image.png
image.png

四、部署应用

1、请点击应用模板链接打开我们提供的函数计算应用模板,填写配置。
image.png

image.png

2、应用部署完成后,可以在应用的环境详情中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。
image.png
使用https访问才能获取语音。
image.png
image.png

五、应用体验

1、单击拨打按钮,即可开始与智能体对话。
image.png

2、用户可以与智能体进行实时语音对话,页面上会同步展示当前对话的文字信息,以便用户查阅对话内容。
image.png

3、单击右上角,可以开启/关闭智能打断,以及选择切换音色。
image.png

4、进行对话。
image.png

六、清理资源

1、删除函数计算应用:

登录函数计算控制台,在左侧导航栏,单击应用。找到目标应用,单击右侧操作列的删除应用。
image.png

2、删除智能体:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动 > 智能体管理页面,找到智能体并单击删除。
image.png

3、删除实时工作流模板:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动>工作流管理页面,找到工作流模板并单击删除。
image.png

4、删除ARTC应用:

登录视频直播控制台,在直播+ >实时音视频 > 应用管理页面,找到ARTC应用并单击删除。
image.png

相关文章
|
1月前
|
存储 人工智能 运维
【01】做一个精美的打飞机小游戏,浅尝阿里云通义灵码python小游戏开发AI编程-之飞机大战小游戏上手实践-优雅草央千澈-用ai开发小游戏尝试-分享源代码和游戏包
【01】做一个精美的打飞机小游戏,浅尝阿里云通义灵码python小游戏开发AI编程-之飞机大战小游戏上手实践-优雅草央千澈-用ai开发小游戏尝试-分享源代码和游戏包
191 48
【01】做一个精美的打飞机小游戏,浅尝阿里云通义灵码python小游戏开发AI编程-之飞机大战小游戏上手实践-优雅草央千澈-用ai开发小游戏尝试-分享源代码和游戏包
|
16天前
|
人工智能 算法 计算机视觉
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
105 61
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
|
1月前
|
消息中间件 人工智能 运维
1月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
1524 59
1月更文特别场——寻找用云高手,分享云&AI实践
|
10天前
|
人工智能 搜索推荐 API
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
node-DeepResearch 是一个开源 AI 智能体项目,支持多步推理和复杂查询,帮助用户逐步解决问题。
138 27
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
|
3天前
|
人工智能 安全 数据挖掘
MedRAX:专注于胸部X光检查的AI医学推理智能体,帮助医生快速解读胸部X光片
MedRAX 是一款专门用于胸部X光检查的医学推理AI智能体,整合了多种最先进的分析工具,支持多模态推理和动态任务分解。
56 10
MedRAX:专注于胸部X光检查的AI医学推理智能体,帮助医生快速解读胸部X光片
|
29天前
|
人工智能 数据处理 语音技术
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
Pipecat 是一个开源的 Python 框架,专注于构建语音和多模态对话代理,支持与多种 AI 服务集成,提供实时处理能力,适用于语音助手、企业服务等场景。
100 23
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
|
27天前
|
Web App开发 机器学习/深度学习 人工智能
Weebo:支持多语言和实时语音交流的开源 AI 聊天机器人,回复具备语调、情感的语音
Weebo 是一款基于 Whisper Small、Llama 3.2 和 Kokoro-82M 技术的 AI 语音聊天机器人,支持实时语音交互和多语言对话,适用于个人助理、娱乐互动和教育辅导等多种场景。
193 17
Weebo:支持多语言和实时语音交流的开源 AI 聊天机器人,回复具备语调、情感的语音
|
29天前
|
机器学习/深度学习 人工智能 自然语言处理
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手
RealtimeSTT 是一款开源的实时语音转文本库,支持低延迟应用,具备语音活动检测、唤醒词激活等功能,适用于语音助手、实时字幕等场景。
191 18
三行代码实现实时语音转文本,支持自动断句和语音唤醒,用 RealtimeSTT 轻松创建高效语音 AI 助手
|
9天前
|
人工智能 数据挖掘
低代码 + AI 落地实践,让业务效率翻倍,解锁未来生产力!
2025年春节,DeepSeek引发AI讨论热潮,推动“数字化”到“数智化”的革新。低代码+AI组合降低了技术门槛,加速企业智能化升级。文中通过食品加工业原料溯源、家电售后管理、发票识别打印三个案例,展示其在效率提升和市场竞争力中的作用,并介绍钉钉宜搭举办的“低代码+AI”视频创作大赛,邀请读者参与探索更多实际应用。
480 9
|
25天前
|
人工智能 自然语言处理 API
百聆:集成Deepseek API及语音技术的开源AI语音对话助手,实时交互延迟低至800ms
百聆是一款开源的AI语音对话助手,结合ASR、VAD、LLM和TTS技术,提供低延迟、高质量的语音对话体验,适用于边缘设备和低资源环境。
594 4
百聆:集成Deepseek API及语音技术的开源AI语音对话助手,实时交互延迟低至800ms

热门文章

最新文章