AI智能体实时语音互动是一个端到端的解决方案,旨在为用户与AI智能体之间提供实时音频交互。用户通过终端SDK发起与云端AI智能体的音频通话请求,AI智能体接收到用户的音频输入后,依据预定义的工作流进行处理,生成相应的音频响应,并通过ARTC网络将响应结果推送给用户。用户可以订阅该音频流进行播放,从而实现与AI智能体的对话。
一、方案架构
AI智能体是本方案的核心组件之一,能够在云端模拟高度拟真的用户交互。用户可以根据需求自行创建智能体。通过灵活的插件式和拖拽式方式,用户可以编排各个AI组件,如语音转文字、大语言模型、语音合成和自研向量数据库等,从而实现AI智能体的实时工作流。实时音视频通信技术(ARTC)为用户与AI智能体之间的音频通话提供了高可用、高品质、超低延时的保障。
二、创建实时音视频通信应用
实时音视频 ARTC 是智能体和用户之间建立起实时音频通信的基础,实现AI实时互动需要准备一个ARTC应用,参照以下步骤开通并创建ARTC应用。
1、开通视频直播:计费方式选择按使用流量计费,点击右下角立即开通。
2、单击创建应用。
三、创建AI智能体
1、编排实时工作流
实时工作流是一种预先定义的流程模板,用于自动化处理ARTC音频流。支持创建语音通话并且预设了多种功能节点,包括语音转文字 (STT)、文字转语音 (TTS)、文生文大语言模型(LLM)等。平台提供了可直接选用的预置模板,同时,也支持根据需求创建自定义模板,让智能体自动按照预设好的流程工作。
1、登录智能媒体服务控制台,点击立即开通按钮。
2、登录AI实时互动-工作流管理,单击创建工作流模板。
2、创建智能体
AI智能体是在AI实时互动解决方案中定义的高仿真用户,用户可以根据自身需求创建智能体,并将其集成到自己的应用中,使其能够按照既定工作流程在实时音频环境中运行,从而实现实时音频交互功能。
1、登录AI实时互动-智能体管理,单击创建智能体。
四、部署应用
1、请点击应用模板链接打开我们提供的函数计算应用模板,填写配置。
2、应用部署完成后,可以在应用的环境详情中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。
使用https访问才能获取语音。
五、应用体验
1、单击拨打按钮,即可开始与智能体对话。
2、用户可以与智能体进行实时语音对话,页面上会同步展示当前对话的文字信息,以便用户查阅对话内容。
3、单击右上角,可以开启/关闭智能打断,以及选择切换音色。
4、进行对话。
六、清理资源
1、删除函数计算应用:
登录函数计算控制台,在左侧导航栏,单击应用。找到目标应用,单击右侧操作列的删除应用。
2、删除智能体:
登录智能媒体服务控制台,在智能生产制作 > AI实时互动 > 智能体管理页面,找到智能体并单击删除。
3、删除实时工作流模板:
登录智能媒体服务控制台,在智能生产制作 > AI实时互动>工作流管理页面,找到工作流模板并单击删除。
4、删除ARTC应用:
登录视频直播控制台,在直播+ >实时音视频 > 应用管理页面,找到ARTC应用并单击删除。