活动实践 | AI智能体实时语音互动

简介: AI智能体实时语音互动方案提供端到端的实时音频交互,用户通过终端SDK与云端AI智能体进行音频通话。AI智能体接收音频输入,依据预定义工作流处理并生成响应,通过ARTC网络推送结果。该方案支持灵活编排AI组件如语音转文字、大语言模型等,确保高可用、低延迟的通信体验。用户可轻松创建和管理智能体及实时工作流,实现高效对话,并可通过示例网站体验功能。

AI智能体实时语音互动是一个端到端的解决方案,旨在为用户与AI智能体之间提供实时音频交互。用户通过终端SDK发起与云端AI智能体的音频通话请求,AI智能体接收到用户的音频输入后,依据预定义的工作流进行处理,生成相应的音频响应,并通过ARTC网络将响应结果推送给用户。用户可以订阅该音频流进行播放,从而实现与AI智能体的对话。

一、方案架构

AI智能体是本方案的核心组件之一,能够在云端模拟高度拟真的用户交互。用户可以根据需求自行创建智能体。通过灵活的插件式和拖拽式方式,用户可以编排各个AI组件,如语音转文字、大语言模型、语音合成和自研向量数据库等,从而实现AI智能体的实时工作流。实时音视频通信技术(ARTC)为用户与AI智能体之间的音频通话提供了高可用、高品质、超低延时的保障。
image.png

二、创建实时音视频通信应用

实时音视频 ARTC 是智能体和用户之间建立起实时音频通信的基础,实现AI实时互动需要准备一个ARTC应用,参照以下步骤开通并创建ARTC应用。

1、开通视频直播:计费方式选择按使用流量计费,点击右下角立即开通。
image.png

2、单击创建应用。
image.png
image.png

image.png

三、创建AI智能体

1、编排实时工作流

实时工作流是一种预先定义的流程模板,用于自动化处理ARTC音频流。支持创建语音通话并且预设了多种功能节点,包括语音转文字 (STT)、文字转语音 (TTS)、文生文大语言模型(LLM)等。平台提供了可直接选用的预置模板,同时,也支持根据需求创建自定义模板,让智能体自动按照预设好的流程工作。

1、登录智能媒体服务控制台,点击立即开通按钮。
image.png
image.png

2、登录AI实时互动-工作流管理,单击创建工作流模板。
image.png
image.png
image.png

2、创建智能体

AI智能体是在AI实时互动解决方案中定义的高仿真用户,用户可以根据自身需求创建智能体,并将其集成到自己的应用中,使其能够按照既定工作流程在实时音频环境中运行,从而实现实时音频交互功能。

1、登录AI实时互动-智能体管理,单击创建智能体。
image.png
image.png

四、部署应用

1、请点击应用模板链接打开我们提供的函数计算应用模板,填写配置。
image.png

image.png

2、应用部署完成后,可以在应用的环境详情中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。
image.png
使用https访问才能获取语音。
image.png
image.png

五、应用体验

1、单击拨打按钮,即可开始与智能体对话。
image.png

2、用户可以与智能体进行实时语音对话,页面上会同步展示当前对话的文字信息,以便用户查阅对话内容。
image.png

3、单击右上角,可以开启/关闭智能打断,以及选择切换音色。
image.png

4、进行对话。
image.png

六、清理资源

1、删除函数计算应用:

登录函数计算控制台,在左侧导航栏,单击应用。找到目标应用,单击右侧操作列的删除应用。
image.png

2、删除智能体:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动 > 智能体管理页面,找到智能体并单击删除。
image.png

3、删除实时工作流模板:

登录智能媒体服务控制台,在智能生产制作 > AI实时互动>工作流管理页面,找到工作流模板并单击删除。
image.png

4、删除ARTC应用:

登录视频直播控制台,在直播+ >实时音视频 > 应用管理页面,找到ARTC应用并单击删除。
image.png

相关文章
|
5天前
|
SQL 人工智能 数据可视化
高校迎新管理系统:基于 smardaten AI + 无代码开发实践
针对高校迎新痛点,基于smardaten无代码平台构建全流程数字化管理系统,集成信息采集、绿色通道、宿舍管理等七大模块,通过AI生成框架、可视化配置审批流与权限,实现高效、精准、可扩展的迎新服务,大幅提升管理效率与新生体验。
|
9天前
|
数据采集 存储 人工智能
拆解AI-Agentforce企业级智能体中台:如何让企业AI落地从“噱头”到“实效”
在GDMS峰会上,迈富时集团尹思源指出41.3%中国企业尚未布局AI Agent,已应用者亦陷“Demo化、孤岛化”困局。其发布的AI-Agentforce智能体中台,以“冰山模型”重构架构,打通认知、价值、能力三重鸿沟,覆盖内容、获客、销售、陪练、分析五大场景,助力企业实现AI从“工具”到“数字员工”的全链路协同升级。
|
19天前
|
存储 人工智能 测试技术
手把手带你入门AI智能体:从核心概念到第一个能跑的Agent
AI智能体是一种能感知环境、自主决策并执行任务的人工智能系统。它不仅能生成回应,还可通过工具使用、计划制定和记忆管理完成复杂工作,如自动化测试、脚本编写、缺陷分析等。核心包括大语言模型(LLM)、任务规划、工具调用和记忆系统。通过实践可逐步构建高效智能体,提升软件测试效率与质量。
|
11天前
|
人工智能 前端开发 Docker
从本地到云端:用 Docker Compose 与 Offload 构建可扩展 AI 智能体
在 AI 智能体开发中,开发者常面临本地调试与云端部署的矛盾。本文介绍如何通过 Docker Compose 与 Docker Offload 解决这一难题,实现从本地快速迭代到云端高效扩容的全流程。内容涵盖多服务协同、容器化配置、GPU 支持及实战案例,助你构建高效、一致的 AI 智能体开发环境。
152 0
从本地到云端:用 Docker Compose 与 Offload 构建可扩展 AI 智能体
|
数据采集 人工智能 搜索推荐
AI战略丨构建高效新一代 AI 应用 : 从技术选型到落地实践
从概念构想走向高效应用,新一代 AI 应用的落地过程涉及多重技术关键。
AI战略丨构建高效新一代 AI 应用 : 从技术选型到落地实践
|
22天前
|
人工智能 JavaScript 算法
Playwright携手MCP:AI智能体实现自主化UI回归测试
MCP 协议使得 AI 能够通过 Playwright 操作浏览器,其中快照生成技术将页面状态转化为 LLM 可理解的文本,成为驱动自动化测试的关键。该方式适用于探索性测试和快速验证,但目前仍面临快照信息缺失、元素定位不稳定、成本高、复杂场景适应性差以及结果确定性不足等挑战。人机协同被认为是未来更可行的方向,AI 负责执行固定流程,人类则专注策略与验证。
|
24天前
|
存储 人工智能 运维
AI 网关代理 RAG 检索:Dify 轻松对接外部知识库的新实践
Higress AI 网关通过提供关键桥梁作用,支持 Dify 应用便捷对接业界成熟的 RAG 引擎。通过 AI 网关将 Dify 的高效编排能力与专业 RAG 引擎的检索效能结合,企业可在保留现有 Dify 应用资产的同时,有效规避其内置 RAG 的局限,显著提升知识驱动型 AI 应用的生产环境表现。
566 60
|
18天前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
277 22
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
|
11天前
|
人工智能 JSON 测试技术
AI智能体开发实战:从提示工程转向上下文工程的完整指南
曾被热捧的提示工程正逐渐退潮,本文揭示其局限性,并提出“上下文工程”新范式:通过结构化提示、精准上下文管理、工具调用与统一状态,构建可扩展、可恢复、生产级的智能体工作流,推动AI系统迈向工程化与可控化。
124 9
AI智能体开发实战:从提示工程转向上下文工程的完整指南

热门文章

最新文章