开发者社区 问答 正文

智能媒体服务有智能聊天api接口吗?

智能媒体服务有智能聊天api接口吗?

展开
收起
三分钟热度的鱼 2024-04-17 21:52:55 29 分享 版权
来自: 阿里云视频云
阿里云 AI 助理回答

智能媒体服务(IMS)提供了与智能聊天相关的API接口,这些接口主要用于实现AI实时互动功能,包括语音通话、文本交互以及智能体的配置和管理。以下是关于智能聊天API接口的详细说明:


1. 智能聊天相关API接口

智能媒体服务支持通过API实现与AI智能体的实时互动,主要包括以下功能:

(1)启动智能体实例

  • API名称: StartAIAgentInstance
  • 功能描述: 启动一个AI智能体实例,用于与用户进行实时音视频或文本交互。
  • 关键参数:
    • 智能体ID: 指定要启动的智能体。
    • 配置信息: 可覆盖默认配置,如音色、欢迎语等。

(2)停止智能体实例

  • API名称: StopAIAgentInstance
  • 功能描述: 停止正在运行的AI智能体实例。
  • 适用场景: 当用户结束对话或需要释放资源时调用。

(3)更新智能体配置

  • API名称: UpdateAIAgentInstance
  • 功能描述: 在通话过程中动态调整智能体的配置,例如切换音色、修改欢迎语等。
  • 特点: 支持实时生效,提升用户体验。

(4)发送文本消息

  • API名称: sendTextToAgent(iOS平台) / 类似功能可通过其他平台实现。
  • 功能描述: 用户可以通过该接口向智能体发送文本消息,适用于纯文本聊天场景。
  • 回调事件: 智能体的回答结果会通过回调事件通知客户端。

2. 智能聊天的核心能力

智能媒体服务的智能聊天功能依托于阿里云的实时音视频网络体系和AI组件编排能力,具备以下核心能力:

(1)实时音视频通话

  • 支持全球范围内的高可靠、低延时通话,延时低至1.5秒。
  • 提供100+高拟人音色,可根据场景灵活切换。

(2)智能打断与降噪

  • 支持用户打断智能体讲话,并自动过滤嘈杂音,确保对话流畅。
  • 提供智能降噪功能,有效识别用户声音。

(3)灵活的AI组件编排

  • 提供白屏化、可插拔的AI组件编排工作流,支持将语音转文字(STT)、文字转语音(TTS)、大语言模型(LLM)等组件灵活组合。
  • 允许引入自研模型或第三方模型,满足个性化需求。

3. 智能聊天的使用场景

智能聊天API适用于多种业务场景,包括但不限于: - 在线客服: 实现用户与AI客服的实时互动。 - 教育领域: 提供智能化的教学助手,解答学生问题。 - 金融行业: 自动化播报金融资讯或提供咨询服务。 - 融媒体: 支持数字人播报和实时互动。


4. 开发与集成指南

开发者可以通过以下方式快速集成智能聊天功能:

(1)Web端集成

  • 引入SDK并初始化引擎:
    import ARTCAICallEngine from 'aliyun-auikit-aicall';
    const engine = new ARTCAICallEngine();
    
  • 监听回调事件,例如用户提问被识别的结果:
    engine.on('userSubtitleNotify', (subtitle) => {
      console.log('用户提问:', subtitle);
    });
    

(2)移动端集成

  • iOS端: 调用sendTextToAgent接口发送文本消息,监听回调事件处理智能体的回答。
  • Android端: 通过Intent传递参数启动AI通话功能,例如:
    intent.putExtra(AUIAIConstStrKey.BUNDLE_KEY_LOGIN_USER_ID, userId);
    intent.putExtra(AUIAIConstStrKey.BUNDLE_KEY_AI_AGENT_ID, aiAgentId);
    

(3)服务端配置

  • 在控制台配置智能体的默认参数,例如问候语、音色等。
  • 设置回调地址,接收智能体触发的事件通知。

5. 重要提醒

  • 权限要求: 在移动端开发中,需确保已获取麦克风和摄像头权限。
  • 热词配置: 如果需要优化特定词汇的识别效果,可通过上传热词文件进行配置。
  • 资源释放: 在通话结束后,务必调用destroy接口释放资源,避免内存泄漏。

综上所述,智能媒体服务确实提供了智能聊天相关的API接口,能够满足多种实时互动场景的需求。开发者可以根据具体业务需求选择合适的API进行集成和开发。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答