开发者社区> 舜刀> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

阿里云ET的成功应用——云博士架构揭秘

简介: 简介 近几年来,阿里云作为国内最大的云计算服务提供商,随着用户量的急剧上升,产品规模的迅速扩大,用户的服务需求也随之攀升,如何利用阿里云人工智能技术高效的解决用户的问题? 在2016年年初,阿里云服务团队和ET人工智能团队合作,启动了云博士机器人的项目,旨在用人工智能技术提升用户的服务体验。
+关注继续查看

简介


近几年来,阿里云作为国内最大的云计算服务提供商,随着用户量的急剧上升,产品规模的迅速扩大,用户的服务需求也随之攀升,如何利用阿里云人工智能技术高效的解决用户的问题?

在2016年年初,阿里云服务团队和ET人工智能团队合作,启动了云博士机器人的项目,旨在用人工智能技术提升用户的服务体验。去年11月,阿里云的智能服务机器人正式对外提供服务。

 

 云博士(Dr. Cloud)的官网地址为https://drcloud.aliyun.com,主要功能是通过大数据分析来猜测用户可能遇到的问题并给出解决方案,通过人工智能的技术提供秒级的在线智能问答服务。de65beca529c524b4f0e26c054dddc73b5164542


技术架构


    云博士技术架构主要分为四层:Portal层、智能服务引擎层、数据持久层及外部数据来源层。同时有管控台支持云博士的语料编辑、数据运维与数据闭环。
a256f8da80cb1dfca78ca2c50bf2649b7a9cff2e
   Portal层:Portal层是用户与云博士进行交互的界面,包含PC端、阿里云APP端与钉钉端。一方面用户可以通过PC和阿里云APP两个途径和云博士进行便捷交互,另一方面可以将把云博士作为机器人加入到了钉钉群,群内所有用户只要在群里@云博士就可以开启提问模式,也可以在钉钉上直接和云博士进行一对一的会话。
   智能服务引擎层:智能服务引擎层是云博士处理所有重要逻辑的核心层,同时提供接口供Portal层调用,使得Portal层只需要关注input和output。引擎层主要分为在线响应和离线分析两部分,包涵几个重要的模块:

  • 人工智能算法:用户输入问题后,引擎层调用阿里云ET的问答引擎获取相应答案,根据业务需要对备选答案进行再次处理和答案可信度计算,最后依据设置的可信度阈值来判断答案是否能解决用户的问题。
  • 缓存处理:为了保证高并发情况下的秒级应答体验,云博士使用缓存机制提升性能。在流量比较大的时候,云博士把问答输入和输出存入缓存,之后来自用户的问题如果命中缓存中的问答输入,云博士会把缓存中对应的答案直接返回给用户。
  • 数据封装:把从数据库和调用外部服务获取的各种数据进行封装,输出给Portal层。
  • 调度:Portal层通过调用HSF(类似Dubbo服务)接口,把请求分发到引擎层不同的服务器中实现调度均衡。其中job调度利用DTS(阿里自研的任务调度服务,类似Quartz)和ODPS(大数据计算服务)来运行相应的job。
  • 负载控制:当流量陡然增大时,为了防止服务超负荷运转出现问题甚至宕机,引擎层还做了负载控制,在超过系统承受范围时做限流,保证服务能够正常运转。
  • 提供服务调用:系统通过HTTP和HSF接口为Portal层提供服务调用。
  • 数据分析:把云博士所有问答记录取出进行分析,以帮助算法和数据的优化。
  • 算法数据更新:云博士需要通过不断地进行算法优化和新数据的训练,才能变得更加智能,引擎层会每天不断地推送新的数据去训练相应的模型。

数据持久层:是云博士进行数据持久化的架构层,数据主要以四个方式持久化:

  • RDS: 即MySQL数据库,主要存放的是需要经常使用,对于读写实时性要求高的数据。
  • ODPS: 一般存放的是离线任务执行后生成的数据,对于读写的实时性要求并不高。离线任务生成的部分数据会同步到RDS,供引擎层使用。
  • OSS: 主要存放训练算法模型的训练集数据。
  • Redis:主要存放缓存数据,比如为了提升性能的问答输入和答案输出。

 外部数据来源层:调用外部系统获取相应的数据使得云博士更好的进行状态判定和问题排查,比如调用账单系统查看用户有没有因为欠费而导致服务处于异常状态,调用黑洞清洗查看用户实例有没有处于黑洞中等等。

 除了上面的四层之外,云博士的管控台主要有如下几个功能:

  • 语料编辑:供人工智能训练师编辑语料。
  • 数据运维:实时监控云博士的各种指标,如准确率、PV、UV、、响应时间和一些业务指标。
  • 数据闭环:提升云博士问答准确率,如处理用户提交的对于云博士答案的反馈,进行数据挖掘等。

问答流程


  在云博士底层有一套完整的知识管理系统,所以云博士引入了知识点的概念。在云博士的系统中,知识点主要包括以下部分:

  • 知识点标题:如 “如何连接RDS数据库?”
  • 扩展问句集: 因为不同的用户会有不同的问法,有些问法之间算法相似度并不高,需要算法把同一个知识点不同问法都放入扩展问句集中。
  • 答案:知识点中的问题解决方案。
  • 产品域:知识点所属产品。
bfd04adb33ab2277725dac8260fed65635b99e6c

  简单来说,用户问题会和训练集中的知识点标题和扩展问句进行相似度计算,把相似度高的知识点作为答案返回。

 

数据闭环


  准确率是云博士的一个极其重要的核心指标,直接影响云博士的业务效果,提升准确率也是云博士一项贯穿始终的重要工作。云博士第一版上线之后,通过阿里云售后工程师打标数据获取到V1.0版的数据去训练算法,然后根据云博士线上的业务效果,自动筛选效果差的数据,同时把不能返回答案的问题进行聚类,通过人工审核、修改扩展问句和新增知识点等方式,对数据进行了优化,形成闭环,从而提升业务效果。

88b967431e31d42feb5777f5a00c5825e93ccf0a

  目前,云博士以智能问答机器人的形式秒级响应用户的问题,还在用户的工单排队期间提前提供建议的解决方案,提升用户的体验。更为重要的是,通过客户的反馈,云博士用强化正确结果和调整负面评价结果的方式持续提升对云计算的理解,实现自学习和成长。最终,阿里云希望通过应用人工智能技术,真正为用户提供极致的服务体验。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
教育培训机构使用阿里云无影桌面优缺点
配置灵活,GPU满足设计产品线,价格低廉,随开随用。
202 0
阿里云伴我成长——记那些年我考过的阿里云认证
趁着不一样的春节整理了下几年以来通过的各类阿里云认证,从ACP到ACA到专项认证,谈谈感想
2909 0
阿里云伴我成长——记那些年我考过的阿里云认证
趁着不一样的春节整理了下几年以来通过的各类阿里云认证,从ACP到ACA到专项认证,谈谈感想
2660 0
从混合云存储看阿里云对下一代企业计算架构的思考
阿里云在2019年最后一个月发布了针对混合云的两款产品:入门级混合云存储阵列SA2100以及混合云CPFS一体机,加上2019年发布的混合云存储阵列中高端产品SA2600、3600、5600以及基于容器的ACK混合云2.0等,阿里云已经为2020年混合云市场的全面激活做好了准备。
6846 0
入选国家重点研发计划“科技冬奥”重点专项,阿里云云上转播牛在哪?
近期,科学技术部公布了《国家重点研发计划“科技冬奥”重点专项2019年度定向指南拟立项项目公示清单》。阿里云牵头的《北京冬奥会“一个APP”关键技术研究及应用》与《面向冬奥的云转播平台关键技术》两个项目入选,涉及经费3222万元。
2155 0
云栖重磅!阿里云启动视频云V5计划,全面赋能生态合作伙伴
阿里云研究员金戈对视频云V5计划进行了详细解读,他表示:未来,阿里云将围绕技术、产品、解决方案、品牌合作、商务激励五大维度,向产业链上下游和视频垂直领域合作伙伴提供全方位赋能计划,与大视频生态进行更加开放、深度的连接。
4604 0
如何在阿里云上运行SAP UI5应用
本来Jerry觉得这个知识点太简单了完全不值得写成微信公众号文章,但转念一想,可能网络上有一些刚刚初学UI5的朋友们可能会问到,所以还是写了。今天一个成都同事问我这个问题,因为SAP WebIDE可以非常方便地将开发好的UI5应用一键部属到SAP的其他系统,比如On-Premises环境的SAP gateway系统;但对于SAP Cloud Platform之外的其他云平台,比如AWS或者阿里云,SAP官方文档讲得不多。
821 0
杭电建新型教学实训平台,引入阿里云云效走进高校课堂
杭州电子科技大学计算机学院引入阿里云云效及其理念与工具,积极开展课堂改革新探索,构建新型教学与实训平台.。阿里云云效将为本次教学改革提供全部平台资源和技术支持,并将基于试点成果在未来教育场景下展开更加全面和深入的探索。
2028 0
三大层面透视阿里云的“云版图”
本文讲的是三大层面透视阿里云的“云版图”【IT168 云计算】近期,阿里云海外消息不断。先是宣布美国硅谷数据中心投入试运营,之后与欧洲知名游戏公司Rovio与达成合作,将共同搭建面向游戏开发者的Hatch(孵化)平台;而在近期大热的德国汉诺威CeBIT展会上,阿里巴巴展示云计算的展区,挤满各国跨国代表。
2573 0
+关注
舜刀
我是阿里云云博士的开发同学,非常高兴能和大家一起探讨技术,大家互相学习,多多交流哦~~~
文章
问答
来源圈子
更多
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
演讲三:阿里IPv6网络演进之路-蔡依群,阿里巴巴集团基础架构事业群网络研发事业部副总裁
立即下载
阿里云资深总监李津:云进化,激活广阔未来
立即下载
云上奥林匹克白皮书
立即下载