用户和天猫精灵通过语音交互的一个典型流程分析

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
简介: 虽然从普通用户眼中,使用语音向天猫精灵发起指令,然后收到后者的语音回复,这个流程似乎很简单,但背后实际上有着人工智能中 ASR(语音识别)、NLP(自然语言处理)、TTS(语音合成)等自然语言处理技术的参与和整合。

虽然从普通用户眼中,使用语音向天猫精灵发起指令,然后收到后者的语音回复,这个流程似乎很简单,但背后实际上有着人工智能中 ASR(语音识别)、NLP(自然语言处理)、TTS(语音合成)等自然语言处理技术的参与和整合。

我们先来看一个典型的用户通过语音同天猫精灵交互的流程图。

  1. 用户用语音唤醒天猫精灵,后者接收到用户语音,上传到智能应用平台。
  2. 平台使用 ASR(音频转文字)和 NLP(自然语言处理)技术,智能解析出用户发出语音包含的意图(通俗的说,即用户当前期望天猫精灵完成什么样的操作)。平台会自动将当前用户指令,匹配到开发人员创建的对应的技能和意图去。具体的匹配过程,就是将平台所有解析到的参数信息,通过 HTTPS 请求访问开发者提供的服务接口。
  3. 开发者负责实现的服务(托管在自己的应用服务器或者阿里云 Serverless 环境),接收到平台发送的请求参数,执行业务逻辑(比如天气预报查询,智力题,语音游戏等),并组装回复结果。
  4. 智能应用平台收到开发者服务执行完业务逻辑返回的响应数据后,使用 TTS(文字转音频)合成音频,并将音频推送回天猫精灵。
  5. 天猫精灵将收到的音频通过麦克风播报出来,本轮同用户的交互就完成了。

image.png

分析这个交互场景,不难发现,需要开发人员动手操作的流程包含以下两个方面:

  1. 在 AliGenie 技能应用平台上创建新的技能和意图,用于接收用户通过语音发送过来的请求。
  2. 应用开发人员自己选择在应用服务器还是 Serveless 运行环境里实现新的技能需要完成的业务逻辑编写。
相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
目录
相关文章
天猫精灵的自定义语音技能创建流程
天猫精灵的自定义语音技能创建流程
|
11月前
09 公众号开发 - 回复用户语音消息识别代码
09 公众号开发 - 回复用户语音消息识别代码
53 0
|
人工智能 自然语言处理 应用服务中间件
用户和天猫精灵通过语音交互的一个典型流程分析
用户和天猫精灵通过语音交互的一个典型流程分析
|
人工智能 程序员 API
如何在手机端体验“AI智能交互对话模式”?
Chat-GPT的火爆,让国内崛起的“百度文心”逊色不少,但依托PC端支撑才得以体验的AI,还是把大多用户拒之门外。 今天,我们就来体验一下手机版的ChatGLM
297 0
如何在手机端体验“AI智能交互对话模式”?
|
机器学习/深度学习 人工智能 编解码
聊聊智能语音交互系统
智能语音对话系统只是智能对话系统的一个延伸,对了语音输入和语音输出的能力,但核心还是“对话系统”,到底是“智能”还是“智障”还要看这个对话系统提供多少能力,拥有多少技能。
244 0
|
自然语言处理 IDE Serverless
【2】天猫精灵开放实验平台实验—创建单轮或多轮天气查询意图
【2】天猫精灵开放实验平台实验—创建单轮或多轮天气查询意图
157 0
【2】天猫精灵开放实验平台实验—创建单轮或多轮天气查询意图
|
数据采集 自然语言处理 语音技术
分析在智能语音对话流程
一,分析在智能语音对话流程的各个主要模块交互时序流程(以呼入为例),主要流程为: 1.客户拨打电话给智能语音客服。 2.智能语音客服接听电话后,呼叫中心平台调用业务流程管理接口,启动并初始化对话流程状态图。 3.业务对话流程管理模块初始化对话流程状态图后,发送开场白话术给呼叫中心。 4.呼叫中心平台接收到开场白话术,根据配置选择进行TTS语音合成或者直接播放录制好的录音,并进行放音操作通知用户。 5.客户收到开场白语音后同样做出相应的语音回复,开始进行对话流程。 6.呼叫中心平台收到用户的回复语音后通过MRCP协议调用ASR服务进行语音识别。 7.呼叫中心收到ASR返回的文字结果
|
存储 搜索推荐
语音平台开发,展现社交属性的重要功能
语音平台开发,展现社交属性的重要功能
|
开发框架 自然语言处理 机器人
智能语音交互产品介绍 | 学习笔记
快速学习 智能语音交互产品介绍
254 0
|
人工智能 编解码 自然语言处理
搭建智能语音交互系统重要点那些
序言 随着人工智能命题的提出,近年来涌现出一大批基于人工智能的呼叫中心业务服务商和集成商,仅智能外呼这一模块儿就将近百家公司在推广和运营。可以说整个基于人工智能技术的市场开始蓬勃的发展起来了。
下一篇
无影云桌面