Android开发中文站

简介:

自IBM的Shoebox与Worlds of Wonders的Julie Doll问世以来,语音识别技术已经取得了长足进步。甚至有报道称,到2018年底,谷歌Google Assistant将支持超过30种语言。除此以外,高通已经开发出了一款能够识别单词和短语的语音识别设备,准确率高达95%。而微软也不甘示弱,其呼叫中心解决方案(智能语音客服)比人工展开的呼叫服务更准确,更高效。

但需要注意的是,尽管在机器学习的加持下,语音识别技术取得了巨大的进步,但现在的语音识别系统还是不完美的。比如,不同地区的口音,让这项技术拥有了很强的“地域歧视性”。通常情况下,口音对人类来说不是什么大问题,有时还会让人感觉到一种异国风情的魅力,但是对机器而言,这是一条难以跨越的鸿沟,可能是其发展过程中面临的最大挑战。

研究显示口音是语音识别技术的挑战之一

最近,华盛顿邮报与Globalme和Pulse Labs两家语言研究公司合作,对搭载了语音识别技术的智能音箱设备的口音问题进行了研究,研究范围来自美国近20个城市、超过100名参与者发出的数千条语音命令,结果显示,这些系统在理解来自不同地区的人的语言时存在显著差异。

举个例子,谷歌智能音箱Google Home识别西岸口音的准确率比识别南方口音高3%;而亚马逊语音助手Alexa识别中西部的口音的准确率要比东岸口音低2%。但面临最大问题的是持非本土口音的人:在一项研究中,通过对比Alexa识别的内容与测试组的实际话语,结果显示不准确率可达30%。此外,面对以西班牙语和汉语作为第一语言的人所说的英文,不管是Google Home还是Amazon Echo,其识别率都是最低的,要知道,拉丁裔和华裔是美国的两大移民族群。

9842d0d1b45c065dbbe8204182554e812a47b3ef

虽然这项研究是非正式的,也存在一定的限制,但其结果还是表明口音仍是语音识别技术面临的主要挑战之一。对此,亚马逊在一份声明中称,“随着越来越多的拥有不同口音的人与Alexa进行交流,Alexa的理解能力也会得到改善。”同时,谷歌也表示,“在扩大数据集的同时,我们也将继续提高Google Home的语音识别能力。”

事实上,不只是Amazon Echo和Google Home,采用率更低一些的微软Cortana和苹果Siri也是如此,它们都需要及时提高自家的语音识别技术,以便让用户感到满意的同时,又能在全球范围内扩大自己的影响力。

即使增加语料库,也无法解决口音识别问题

随着人工智能的发展,语音已经成为了人与计算机交互的核心方式之一,所以即使理解上有极其微小的偏差,也可能意味着一个巨大的障碍。也就是说,这种语言差异可能会给那些现代科技的基础系统带来潜在的隐患,毕竟除了厨房和起居室,智能音箱在用户的工作场所、学校、银行、医院以及酒店等地方也承担着越来越重要的责任,除了控制设备还要传递信息,并完成一些预订和购物工作等。

19c88b33a741117f6f56d03f8dea7f22b0f22c0a

为了改善语音助手的口音识别情况,亚马逊与谷歌等正在投入资源,用新的语言和口音训练测试系统,包括创建游戏以鼓励大家使用不同地区的方言进行交谈。而像IBM和微软这样的公司,都会通过Switchboard语料库来降低语音助手的出错率。但是事实证明,语料库也无法彻底解决语音助手的口音识别问题

对此,埃森哲全球责任AI监理Rumman Chowdhury表示,“数据是混乱的,因为数据反映了人性。这就是算法最擅长的:寻找人类的行为模式。”

算法的这一情况被称为“算法偏差”,用于反应机器学习模型对数据或设计产生的偏见程度。比如,现在有很多报告都显示了面部识别技术的敏感性——尤其是亚马逊AWS的图像识别技术Rekognition——有很大的偏见倾向。此外,算法偏差还会出现在其他方面,像预测被告是否会在未来犯罪以及Google News等应用背后的内容推荐算法。

构建语音识别模型,提升方言识别率

虽然已经有不少巨头针对算法偏见提出了解决方案,比如微软、IBM、Facebook、高通和埃森哲等已经开发出了自动化工具,用于检测AI算法中的偏见,但很少有企业针对语音识别技术面临的口音问题提出具体的解决方案。对此,Speechmatics和Nuance成为了少数者之一。

f223424c8d8f65b3936b5961dfd21720316d0200

Speechmetrics是一家专门从事企业语音识别软件的剑桥科技公司,12年前就开始展开一项雄心勃勃的计划,旨在开发比市场上任何产品都更准确,更全面的语言包。据了解,研究之初,该公司的主要工作是统计语言建模和循环神经网络,并以此开发出了一种可以处理内存输出序列的机器学习模型。

2014年,Speechmetrics通过一个10亿字节的语料库加速了其统计语言建模的进展,到2017年与卡塔尔计算研究所(QCRI)合作开发阿拉伯语言的文字转换服务,可以说,这是该公司取得的一个里程碑式的进展。

而到了今年7月,该公司再次有所突破——成功研发了一款语音识别系统Global English,包括了全球40多个国家的数千小时的语音数据和数百亿单词,可支持“所有主要”英语口音的语音文本转换。另外,这个系统是建立在Speechmatic的Automatic Linguist的基础上,这是一个AI框架,通过利用已知语言中识别的模式来学习新语言的语言基础。

而在特定的口音测试中,Global English的表现要优于谷歌的Cloud Speech API以及IBM Cloud中的英语语言包中。Speechmatic声称,在高端领域,该系统的准确率比其他产品还要高23%到55%。

但Speechmatics并不是唯一一家想要解决口音识别问题的公司。

06030ac5381ad0529754b8f60e73ddbecf433694

总部位于马萨诸塞州的Nuance表示,该公司正在采用多种方法确保其语音识别模型能够以同样的准确率来识别大约80种语言。

举个例子,在其英语语音识别模型中,该公司收集了20个特定方言区域的语音和文本数据,包括每种方言的特有单词及其发音。因此,Nuance的语音识别系统可以识别出单词“Heathrow”的52种不同变体。

最近Nuance的语音识别系统也有了很大的提升。较新版本的Dragon是该公司发布的定制语音到文本软件套件,所使用的机器学习模型,可根据用户的口音在几种不同的方言模型之间自动切换。另外,与没有自动切换功能的旧版本相比,新版对带有西班牙口音的英语识别的准确率要高22.5%,对于美国南部的方言来说,准确率要高16.5%,对于东南亚的英语口音的准确率要高17.4%。

事实上,研究人员很早之前就发现了语音识别面临的口音问题。对此,语言学家和AI工程师纷纷表示,非本地语言通常是很难进行训练的,因为语言之间的模式要一多种不同的方式进行切换。同时,语境也很重要,即使是细微差别也会改变对话双方的反应。但可以肯定的是,缺乏多样性的语音数据最终可能会无意中导致“地域歧视”的发生。也就是说,语料库中语音样本的数量和多样性越高,得到的模型就越准确——至少在理论上是这样

当然,这也不仅仅是美国企业需要解决的问题。百度硅谷办事处的高级研究员Gregory Diamos曾说,该公司面临着自己的挑战,即开发一款可以理解许多中国地方方言的人工智能。此外,很多工程师也表示,口音对于致力于开发那种不仅可以回答问题,还能随意进行自然对话的软件公司来说,是最严峻的挑战之一。

今年5月,谷歌推出了一款名为Duplex的系统,可以以逼真的语音语调打电话完成餐厅预订,整个过程是“语音不流畅”的,因为中间会夹杂“嗯”、“呃”等语气词。在一定程度上,这样的技术让人有这样的感觉:这个机器在倾听我的话语。有用户表示,自己好像被困在了一个灰色地带,虽然可以被理解,但又好像与机器人格格不入。

根据市场研究公司Canalys的数据,到2019年会有近1亿台智能音箱在全球销售,而到2022年,约55%的美国家庭会拥有一个智能语音系统。在小智君(ID:Aiobservation)看来,通过大量声音数据及其语音模式的学习,理解不同单词、短语和声音之间形成的清晰联系,人工智能便可以更加了解不同的口音,提高识别能力

但也不要期待“银弹”的出现,毕竟按照现在技术的发展,我们不能期待很快就能研发出一个准确率极高却又可以适用于所有用户语言的语音识别系统。如今,能满足正在使用的用户的口音需求,便足矣。


原文发布时间为:2018-08-13

本文作者:灰灰

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关实践学习
一键创建和部署高分电影推荐语音技能
本场景使用天猫精灵技能应用平台提供的技能模板,在2-5分钟内,创建一个好玩的高分电影推荐技能,使用模板后无须代码开发,系统自动配置意图、实体等,新手0基础也可体验创建技能的乐趣。
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
相关文章
|
11天前
|
设计模式 算法 前端开发
Android面经分享,失业两个月,五一节前拿到Offer,设计思想与代码质量优化+程序性能优化+开发效率优化
Android面经分享,失业两个月,五一节前拿到Offer,设计思想与代码质量优化+程序性能优化+开发效率优化
|
9天前
|
编解码 数据库 Android开发
安卓应用开发:打造高效用户界面的五大技巧
【5月更文挑战第18天】在竞争激烈的应用市场中,一个流畅且直观的用户界面(UI)对于安卓应用的成功至关重要。本文将探讨五种提升安卓应用用户界面性能的技巧,包括合理布局设计、优化资源使用、利用硬件加速、内存管理以及响应式编程。通过这些方法,开发者可以创建出既美观又高效的应用体验,从而吸引和保留用户。
|
11天前
|
XML Android开发 数据格式
ConstraintLayout 2,Android高级开发面试
ConstraintLayout 2,Android高级开发面试
|
1天前
|
缓存 安全 物联网
构建未来:基于Android的智能家居控制系统开发
【5月更文挑战第27天】 随着物联网技术的蓬勃发展,智能家居系统作为其重要分支,正逐步渗透到人们的日常生活中。本文旨在探讨并实现一个基于Android平台的智能家居控制系统,通过分析系统需求、设计架构以及具体实现过程,展现如何利用现代移动开发技术与物联网设备进行有效集成,以提升居住环境的智能化水平。文中不仅详细阐述了系统的设计理念和功能模块,还对关键技术如设备通信协议、用户界面设计和后台服务管理进行了深入讨论。
|
3天前
|
数据处理 API Android开发
安卓应用开发:构建一个高效的通知管理系统
【5月更文挑战第25天】在移动操作系统中,通知管理是用户体验的核心组成部分。特别是对于安卓设备,由于其开放性和多样性,有效的通知管理系统显得尤为重要。本文将详细介绍如何在安卓平台上构建一个高效、用户友好的通知管理系统。我们将从通知渠道的管理、用户自定义设置以及后台数据处理等方面展开讨论,并提供实用的代码示例和最佳实践建议。
|
4天前
|
缓存 监控 Java
安卓应用开发中的内存优化策略
【5月更文挑战第24天】 在移动设备上,资源的有限性要求开发者对应用程序进行细致入微的性能优化。特别是对于安卓平台,由于设备的多样性和碎片化问题,内存管理成为提升应用性能、用户体验和电池寿命的关键因素。本文将探讨针对安卓开发的内存优化技巧,从避免内存溢出、减少内存占用到提高内存回收效率等方面展开讨论,旨在为开发者提供实用的内存优化策略,以改善应用的运行效率和稳定性。
|
8天前
|
搜索推荐 API Android开发
安卓应用开发:打造高效通知管理系统
【5月更文挑战第20天】在移动设备中,通知管理是用户体验的关键部分。一个高效的通知系统不仅能够及时传达重要信息,还能避免用户感到不必要的干扰。本文将深入探讨如何在安卓平台上开发一个高效的通知管理系统,包括通知的设计、发送策略以及用户的个性化设置。通过分析安卓系统的通知机制和最新的API特性,我们将提供一个实用的开发指南,帮助开发者创建更加智能和用户友好的通知体验。
|
11天前
|
JSON Android开发 数据格式
Android框架-Google官方Gson解析,android开发实验报告总结
Android框架-Google官方Gson解析,android开发实验报告总结
|
11天前
|
前端开发 Android开发
Android架构组件JetPack之DataBinding玩转MVVM开发实战(四)
Android架构组件JetPack之DataBinding玩转MVVM开发实战(四)
Android架构组件JetPack之DataBinding玩转MVVM开发实战(四)
|
11天前
|
安全 Linux Android开发
Android最强保活黑科技的最强技术实现,2024年最新阿里资深Android开发带你搞懂Framework
Android最强保活黑科技的最强技术实现,2024年最新阿里资深Android开发带你搞懂Framework
Android最强保活黑科技的最强技术实现,2024年最新阿里资深Android开发带你搞懂Framework