0.智能语音
智能语音交互（Intelligent Speech Interaction）是基于语音识别、语音合成、自然语言理解等技术，为企业在多种实际应用场景下，赋予产品“能听、会说、懂你”式的智能人机交互功能。适用于智能问答、智能质检、法庭庭审实时记录、实时演讲字幕、访谈录音转写等场景，在金融、司法、电商等多个领域均有应用。
0.1 阿里语音交互的产品核心优势
语音识别
- 1.识别准确率高
基于SAN-M自研的“识音石”通用端到端语音识别框架，中文识别准确率可达业内领先水平；
在输入法、客服、会议等领域，识别字错误率相比上一代系统下降10%～30%，大幅提高了语音识别的精度。 - 2.识别速度快
采用“字”级别建模单元及自研模型推理引擎，并发推理速度相比业内主流推理框架提升10倍以上；
国内独创的LFR解码技术，在不损失识别精度的情况下，将解码速率提高3倍以上，大幅缩短反馈时间，提升用户体验。 - 3.独创的模型优化工具
结合模型优化工具子产品，针对特定的领域定制专属模型，最大限度地提升识别效果。 - 4.丰富的功能
支持音字同步、语种识别、说话人识别等丰富功能。 - 5.广泛的领域覆盖
适用于智能问答、语音指令、音视频字幕、语音搜索、会议谈话转译、语音质检，公安消防接警、法庭审讯记录等各类场景。
语音合成
- 1.技术领先
兼顾了多级韵律停顿，达到自然合成韵律的目的，综合利用声学参数和语言学参数，建立基于深度学习的多重自动预测模型。 - 2.效果逼真
在本地端实现了基于Knowledge-Aware Neural TTS (KAN-TTS) 语音合成技术，基于深度神经网络和机器学习，将文本转换成真实饱满、抑扬顿挫、富有表现力的语音，使得离线语音合成效果趋近于在线合成效果。同样的语音合成声音定制的合成效果与真人录音相比，几乎可以以假乱真。 - 3.音色个性化
支持中英文等多种语言，多种音色，多种场景及多种风格的语音合成声音，并可支持低数据量的离线合成声音定制。 - 4.听感自然
经海量音频数据训练，使合成音真实饱满、抑扬顿挫、富有表现力，MOS评分达到业内领先水准。 - 5.深度定制
根据用户需求定制音库，满足用户的个性化应用需求，提供标准男女声、温柔甜美女声等多风格选择，支持标记语言（SSML）方式的合成方式，音量、语速、音高等参数也支持动态调整。支持客户指定自有数据合成TTS声音。 - 6.高效稳定
接口简单易集成，运行稳定、兼容性强、首包延迟小，内存占用少，CPU占用低，对于低配硬件也有对应的解决方案。 - 7.节省成本
离线语音合成无需联网即可完成实时语音合成，按设备数授权，成本可控。声音定制中需要的数据量门槛更低，在中文普通话场景，2000句起即可合成自然流畅效果的声音，加入英文数据后，还可实现中英混读效果，录音和标注的时间成本大幅减少，尽显价格优势。 - 8.多领域覆盖
在智能家居、车载、导航、金融、运营商、物流、房地产、教育、有声读物等众多领域积累了大量的词库，使阿里语音合成技术对各领域、各行业的词汇发音更准确。
自学习平台
- 1.易用
自学习平台颠覆性地提供一键式自助语音优化方案，极大地降低进行语音智能优化所需要的门槛，让不懂技术的业务人员也可以显著提高自身业务识别准确率。 - 2.快速
自学习平台能够在数分钟之内完成业务专属定制模型的优化测试上线，更能支持业务相关热词的实时优化，一改传统定制优化长达数周甚至数月的漫长交付弊端。 - 3.准确
自学习平台优化效果在很多内外部合作伙伴和项目上得到了充分验证，很多项目最终通过自学习平台不仅解决了可用性问题，还在项目中超过了竞争对手使用传统优化方式所取得的优化效果。
0.2 应用场景
语音识别
- 1.语音搜索
支持各种场景下的语音搜索，如地图导航、浏览器搜索等。可以集成到任何形式的手机应用中，最大限度地解放双手。 - 2.语音指令
通过语音命令控制智能设备，实现快捷便利的操作，如控制空调开关、电视换台等。可以集成到智能家居等设备中。 - 3.语音短消息
发送或者接收语音短消息时，利用音频转文字能力，实现音频内容快速预览。 - 视频实时直播字幕
现场演讲场景、实时直播场景下，将视频中的音频实时转写为字幕，还可以进一步对内容进行管理。 - 4.实时会议记录
将会议、法庭庭审中的音频实时转写为文字，辅助会议记录工作，同时适用于电视会议等远距离场景。 - 5.实时客服记录
将呼叫中心的语音实时转写为文字，可以实现实时质检等。 - 呼叫中心语音质检
上传呼叫中心的录音文件，通过录音文件识别得到文本，进一步通过文本检索，检查有无违规话术、敏感词等信息。 - 6.庭审数据库录入
上传庭审记录的录音文件，进行识别后，将识别文本录入数据库。 - 会议记录总结
对会议记录的音频文件进行识别，然后通过人工或者自动方法，对会议记录作出总结。 - 7.医院病历录入
手术时通过音频记录医生的操作，通过录音文件识别得到文本，提高病例录入效率。
语音合成
- 1.智能客服
提供多行业多场景的智能客服语音合成能力。提高解答效率，提升客户满意度，降低呼叫中心人工成本。 - 2.智能设备
为智能家居、音箱、车载和可穿戴设备等赋予一个最有温度的声音。 - 3.文学有声阅读
让富有感染力的声音为您讲故事、读小说、播新闻，满足“懒人”的阅读需求。 - 4.新闻传媒播报
释放用户的双手和双眼，提供多种发音风格的新闻播报，打造更极致的传媒体验。 - 5.无障碍播报
将文字转成流畅动听的自然语言声音，实现面向各类人群的无障碍播报。 - 6.内容创作
自媒体、大V等内容创作方可将个性化定制的声音应用于传播平台。如，资讯播报、视频配音等。 - 7.在线教育
“复制”在线课堂老师的声音，增强课堂的交互性。
自学习平台
- 1.热词
在语音识别服务中，如果在您的业务领域有一些特有的词，默认识别效果较差的情况下可以使用热词功能，将这些词添加到词表，改善识别结果。 - 2.语言模型定制
支持上传业务相关的文本语料训练模型，可以在该业务领域中获得更高的识别准确率。如司法、金融等领域。
0.3基本概念
采样率（sample rate）
音频采样率是指录音设备在一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实越自然。
目前语音识别服务支持16000Hz和8000Hz两种采样率，其中电话业务一般使用8000Hz，其余业务使用16000Hz。
调用语音识别服务时，如果语音数据采样率高于16000Hz，需要先把采样率转换为16000Hz才能发送给语音识别服务；如果语音数据采样率是8000Hz，请勿将采样率转换为16000Hz，项目中选用支持8000Hz采样率的模型。
采样位数（sample size）
采样值或取样值，即是将采样样本幅度量化。用来衡量声音波动变化的参数，或是声卡的分辨率。数值越大、分辨率越高，发出声音的能力越强。
目前语音识别中常用的采样位数为16 bit小端序。即每次采样的音频信息用2字节保存，或者说2字节记录1/16000s的音频数据。
每个采样数据记录的是振幅，采样精度取决于采样位数的大小：
- 1字节（8 bit）记录256个数，亦即将振幅划分为256个等级。
- 2字节（16 bit）记录65536个数。
其中2字节采样位数已经能够达到CD标准。
语音编码（format）
语音数据存储和传输的方式。注意语音编码和语音文件格式不同，如常见的WAV文件格式，会在其头部定义语音数据的编码，其中的音频数据通常使用PCM、AMR或其他编码。
注意
在调用智能语音交互服务之前需确认语音数据编码格式是服务所支持的。
声道（sound channel）
录制声音时，在不同空间位置采集的相互独立的音频信号。声道数也就是声音录制时的音源数量。常见的音频数据为单声道或双声道（立体声）。
说明
除录音文件识别以外的服务只支持单声道（mono）语音数据，如果您的数据是双声道或其他，需要先转换为单声道。
逆文本规整（inverse text normalization）
语音转换为文本时使用标准化的格式展示数字、金额、日期和地址等对象，以符合阅读习惯。以下是一些示例。
更多内容参考官网文档：https://help.aliyun.com/document_detail/72214.html
1.智能语音交互实测
1.1创建项目
1.2 语言模型定制化
定制化训练
1.3 移动端应用如何安全访问智能语音交互服务
为了避免在移动端App或者桌面端工具中保存固定AccessKey ID和AccessKey Secret可能引起的泄漏风险，您可以通过以下两种方案，更加安全地访问智能语音交互服务。
方案一：通过App服务端创建Token并下发到移动端使用
前提条件
已开通智能语音交互服务，并根据产品文档调试成功，具体操作，请参见开通服务。
适用场景
如果您作为移动App开发者或者桌面端开发者，希望您的用户调用阿里云智能语音交互产品的语音合成、一句话识别、实时识别等服务时，避免在移动端App或者桌面端工具中保存固定AccessKey ID和AccessKey Secret可能引起的泄漏风险，您可以使用App服务端下发语音Token调用服务。
- 1.App端向用户应用服务器请求一个调用智能语音交互接口所依赖的语音Token，此处使用您自有的通信协议即可，比如用户登录时自动请求或服务端自动下发，或定时向应用服务器发起请求。
- 2.用户应用服务器向阿里云智能语音服务发起创建语音Token的真正请求，此处请您使用阿里云SDK或智能语音交互SDK来创建Token，创建Token所需的AccessKey ID和AccessKey Secret保存在您的应用服务器上。由于语音Token具有时效性，您可以在有效期范围内直接返回给App端，无需每次都向智能语音交互服务请求新的Token。
- 3.智能语音交互服务返回给应用服务器一个语音Token信息，包括Token字符串及有效期时间，在有效期内您可以多次复用该Token而无需重新创建，Token的使用不受不同用户、不同设备的限制。
- 4.用户应用服务器将Token返回给App端，此时App端可以缓存并使用该Token，直到Token失效。当Token失效时，App端需要向应用服务器申请新的Token。假设Token凭证有效期为24小时，App端可以在Token过期前1到2小时主动向应用服务器请求更新Token。
- 5.App端使用获取到的Token构建请求，向阿里云智能语音交互公共云发起调用，比如调用实时语音识别、一句话识别、语音合成等接口（不包括录音文件识别、录音文件识别闲时版等离线类接口），更多信息，请参见阿里云智能语音交互相关文档。
此方案无需过多额外设置或开发，将AccessKey ID和AccessKey Secret保存到移动端改为保存到用户自己的服务端，并通过服务端创建语音Token再下发给移动端使用，兼容了使用安全性及开发便捷性。
方案二：使用STS临时访问凭证调用语音服务
您可以通过STS服务给其他用户颁发临时访问凭证，该用户可使用临时访问凭证，在规定时间内调用智能语音交互的录音文件识别服务（含闲时版）。临时访问凭证无需透露您的长期密钥，保障您的账户更加安全。
前提条件
已确保当前账号为阿里云账号或者被授予AliyunRAMFullAccess权限的RAM用户。关于为RAM用户授权的具体步骤，请参见为RAM用户授权。
适用场景
如果您作为移动App开发者或者桌面端开发者，希望您的用户调用阿里云智能语音交互产品的语音合成、一句话识别、实时识别等服务时，避免在移动端App或者桌面端工具中保存固定AccessKey ID和AccessKey Secret可能引起的泄漏风险，您可以使用STS授权用户调用服务。
交互流程
使用STS临时访问凭证授权用户调用阿里云智能语音交互服务（例如录音文件转写）的交互流程如下：
- 1.App端向用户应用服务器请求STS临时访问凭证，此处使用用户自有的通信协议即可，比如用户登录时自动请求或服务端自动下发，或定时向应用服务器发起请求。
- 2.用户应用服务器向阿里云STS服务发起STS请求，此处请使用阿里云SDK，根据应用服务器自身保存的固定AK向STS请求生成一个临时凭证。
- 3.STS返回给应用服务器一个临时访问凭证，包括临时访问密钥（AccessKey ID和AccessKey Secret）、安全令牌（SecurityToken）、该凭证的过期时间等信息。
- 4.用户应用服务器将临时凭证返回给App端，此时App端可以缓存并使用该凭证，直到凭证失效。当凭证失效时，App端需要向应用服务器申请新的临时访问凭证。假设临时访问凭证有效期为1小时，App端可以每30分钟或者每50分钟的频率向应用服务器请求更新临时访问凭证。
- 5.App端使用获取到的临时凭证构建请求，向阿里云智能语音交互公共云发起调用，更多信息，请参见阿里云智能语音交互相关开发文档。
本文以录音文件识别为例，为您介绍相关示例代码。
2.总结
1.音色合成这一块话也是不错的，大部分音色也都能满足，还加上了一些情绪的表达，蛮好的。
2.自学平台，可以根据相应的模型，进行学习，帮助语音机器人训练识别模型，让它更懂人类语言，这一点非常的到位。
3.不单单可以识别普通话，还可以识别24种中国语言（普通话方言）以及50种外语，这款产品非常的优秀！
