
本月早些时候,阿里巴巴量子实验室成功研制当前世界最强的量子电路模拟器“太章”的消息引起了一阵热议,有关量子霸权争夺战的言论不绝于耳。根据官方信息,基于阿里巴巴集团计算平台在线集群的超强算力,“太章”在全球范围内率先成功模拟了81(9x9)比特40层的作为基准的谷歌随机量子电路,之前达到这个层数的模拟器只能处理49比特。 关于“太章”本身,此前已经有不少媒体有报道,我们就不再赘述了。那么最强量子电路模拟器到底强在哪呢?云栖社区采访了阿里巴巴量子实验室团队的施尧耘博士和陈建鑫博士,为大家做出科普解读。 此次研究成果的核心成员,陈建鑫表示,量子计算最终实现的形式应该是基于量子硬件,但是电路模拟有其重要意义,在硬件尚不能达到足够规模与质量的时候,可以作为验证量子算法、辅助算法及硬件设计的工具。 在量子计算领域,目前业界主流的模拟方案有两种:一是存储量子状态的所有振幅,另一种方法是对于任意振幅都可以迅速计算得到结果。阿里巴巴量子实验室采用的是第二类模拟方案,即在阿里巴巴计算平台的在线集群上,通过快速有效的计算任意振幅,任务拆分后可以将子任务十分均衡地分配到不同节点,极少的通信开销使得模拟器适配现在广泛提供服务的云计算平台。 而在此之前,全球范围内的研究团队都未曾成功模拟谷歌超过50比特40层的第一代随机测试电路。此次“太章”最大的突破在于,阿里巴巴量子实验室团队同时将若干层进行并行化。 “我们采用了第二类模拟方案。通常拆分电路模型需要把每一层来并行化,但这样会导致整个电路层数很大的时候,并行的任务数指数增加过快。我们同时将若干层进行并行化,可以有效控制并行任务数的增加。”陈建鑫说。 此外,他还指出“太章”也在一定程度上说明了谷歌在今年3月提出的72比特40层该随机电路采样任务不能超越经典计算机能力,换言之,谷歌Bristlecone芯片目前是无法实现量子霸权的。 以下是云栖社区对阿里巴巴量子实验室科学家陈建鑫以及量子计算首席科学家施尧耘的采访实录。 注:图片来源网络 云栖社区:能否通俗的介绍下量子电路模拟器?在全栈量子计算中的作用是什么? 陈建鑫:在量子计算目前的模型中,有一类是量子电路模型,实现形式是将信息存储在量子比特中,通过类似经典逻辑门的量子门来实现计算。 量子计算最终实现的形式应该是基于量子硬件,但是电路模拟有其重要意义,在硬件尚不能达到足够规模与质量的时候,可以作为验证量子算法,辅助算法及硬件设计的工具。在硬件实现突破可以达到足够规模以后,可以预见量子硬件的资源依旧足够昂贵,在执行量子程序前,通过经典计算机模拟检查是否符合预期也是不可或缺。云栖社区:最新研制的81比特量子电路模拟器为何取名太章? 陈建鑫:“太章”取自:《淮南子·墬形训》:「禹乃使太章步自东极至于西极,二亿三万三千五百里七十五步;使竖亥步自北极至于南极,二亿三万三千五百里七十五步。凡鸿水渊薮自三百仞以上二亿三万三千五百五十里有九渊·禹乃以息土填洪水以为名山。」 “太章”模拟器目的是用一种经典、我们能理解的方式来理解量子的运行,就和太章徒步测量东极至西极的距离类似。云栖社区:81比特40层,这两个数据意味着什么?为何是81比特和40层? 陈建鑫:我们实现该模拟器的目的是为了以后的应用层研究,这里单独提出来81比特40层只是为了与Google今年3月提出的72比特方案来比较。Google 2016年提出的随机电路采样方案在大于50比特的时候硬件很难突破40层,因此模拟81比特40层意味着他们今年3月提出的72比特40层该随机电路采样任务是不能超越经典计算机能力的。 nxn二维网格上,计算随机电路输出每一个振幅的执行时间与电路深度的对应关系 云栖社区:此外实验室还成功模拟的100比特35层、121比特31层、144层27层?比特数和层数二者的逻辑关系是什么? 陈建鑫:比特数越多,能模拟的层数越少。在同等算力下,能模拟的电路层数与比特数约成反比。云栖社区:按照媒体报道,此前40层的模拟器只能处理49比特?“太章”做出了哪些突破? 陈建鑫:目前业界主流的模拟方案有两类,一类是存储量子状态的所有振幅,一类是对于任意振幅都可以迅速计算得到结果。第一类模拟方案,基本都在超级计算机上实现,因为存储 45 比特的量子状态需要 Petabyte 量级的内存,在存储这么多数据的同时对该量子态进行操作并进行计算,需要不断地在不同的计算节点之间交换数据,这样的通讯开销对于普通云服务是难以承受的。 “太章”模拟的随机量子电路规模(黑线)与谷歌量子硬件可以实现的规模(红线) 比较(基于谷歌在[Characterizing quantum supremacy in near-term devices]中对7x7的估计)* 我们采用了第二类模拟方案。通常拆分电路模型需要把每一层来并行化,但这样会导致整个电路层数很大的时候,并行的任务数指数增加过快。我们同时将若干层进行并行化,可以有效控制并行任务数的增加。云栖社区:团队只用了阿里计算平台在线集群14%的计算资源就实现了以前超算无法完成的任务,这其中的难点在那?你们是如何克服的? 陈建鑫:计算资源跨若干机房,这意味着跨机房的进程间开销极为昂贵。因此,我们侧重于尽可能减少通信开销,使得模拟器适配现在广泛提供服务的云计算平台。云栖社区:这次在量子电路模拟器上的成果对阿里研究量子计算有何意义? 陈建鑫:在没有硬件的条件下如何进行前期布局,这是我们做这个量子电路模拟器的初衷。基于这个电路模拟器我们可以进一步辅助算法设计,开发应用并测试。云栖社区:阿里巴巴量子实验室下一步的规划是什么? 施尧耘:A central mission has been to develop quantum algorithms that are of significant value to our business. To identify such problems, we hope very much our technology community can help(核心任务是研发对阿里巴巴业务有价值的量子算法).云栖社区:现在离量子霸权还有多远? 陈建鑫:谷歌2016年提出的量子霸权方案是一个很好的想法,但是我们的结果说明了照之前的随机电路采样方案,无论将比特数扩大到多少,都无法超越经典计算机。但是我们也看到随着规模增加,经典模拟难度越来越大。毕竟我们利用了大量的经典计算资源,换一句话说,如果只是为了和一台普通的台式机相比,现在的量子硬件在这个特定任务上已经可以实现超越。随着硬件技术的发展,我相信量子霸权不会是太远的事情。
编者按:从2008年到2018年,从阿里巴巴中间件团队到飞天八部——小邪与阿里的十年。 2008年4月,小邪正式入职阿里巴巴,首次接触淘宝商城项目开启了其十年的阿里技术生涯,去年12月加入阿里云,任飞天八部掌门人。本文邀请到小邪进行了专访,就其在阿里十年的经历进行了深入的访谈,此外他还分享了阿里的技术发展史以及他的职业生涯感悟。 阿里云研究员、飞天八部掌门人蒋江伟(花名:小邪),原阿里巴巴中间件团队负责人。 一切从淘宝商城谈起 小邪加入阿里正值淘宝商城(现天猫)公测阶段,而这也是他来到阿里的第一个项目。这几乎是一个和淘宝并行的项目,工程之浩大可想而知,当时小邪主要负责品牌导购,即淘宝上的品牌页,通俗点说就是,用户可以根据字母(例如耐克、阿迪达斯等等)顺序筛选品牌。 对于外界而言,鉴于阿里巴巴在电商领域扎根多年的经历,要复制淘宝的成功看似并非难事。但事与愿违,早期的淘宝商城表现并不尽如人意。 “2008年正是电商快速膨胀的阶段,整个行业都呈现出较为浮躁的氛围,不断有巨头进入,也不断有公司倒下”,小邪如此回忆。 而在这样的大环境下,淘宝商城的问题很快凸显出来,整个网站的流量持续走低。在小邪看来,淘宝商城业务不理想的原因主要有两个:一是商品进入门槛非常高;二是淘宝的流量无法分流。因为淘宝商城和淘宝完全独立,除了会员数据之外,所有的系统都是独立的,包括商品、交易、积分、商品管理甚至还有论坛全部是独立的两套体系。 淘宝是按照商品纬度来展现商品,淘宝商城的结构则是按照SPU纬度展现的。只要是技术能解决的问题都不是问题。在淘宝商城整体业绩表现不佳之后,两个团队的负责人很快便开始规划将两个平台的数据打通,内部称这个项目为“五彩石”,这距离小邪第一个项目完成才短短数月。 “我在这里面主要承担了几个事情:一是重建原来的导购系统,以打通淘宝和淘宝商城的底层;二是与搜索团队对接;三是负责商品管理方面的研发工作,例如商品的上下架、补货等等。” 五彩石项目从2008年10月开始,历时半年才正式完成。 无论是对小邪个人还是对阿里巴巴而言,五彩石项目都极具意义,它把淘宝和淘宝商城彻底打通,并且是首次在整个架构层面引入中间件,并对整个系统进行了分布式化的改造。小邪坦言,在此之前,由于业务体量大、需求变更频繁,导致项目整体的研发效率非常低,而且在数据库上还是采用传统的IOE架构,也带来了很多复杂性问题,中间件的应用很好地解决了这些问题。 “五彩石项目为天猫后续的发展奠定了坚实的基础,也奠定了今天的系统架构;对我个人而言,这个项目也让我对整个电商系统有更深的理解。” 技术进阶:全链路压测和双十一 当然,这仅仅是开始。淘宝商城业务的高速增长又给整个技术体系带来了新的问题。 小邪表示,分布式系统的应用对稳定性的挑战非常大,简单来看,保持稳定性需要做监控、流量规划、服务治理等等很多事情,而这些产品后来都成为了阿里巴巴集团的整个稳定性的基础设施。 “我印象最深刻的就是2013年开始做全链路压测。” 以双十一为例,全链路压测就是模拟双十一的流量以及用户规模,通过模拟这样复杂的场景来监测错误并且提前解决。2013年,淘宝商城的体量急剧增长给分布式系统带来了很多复杂的问题,而在当时来看,做全链路压测技术是最有效的解决方案:它可以合理规划系统流程,可以让集群的资源被充分利用,用最少的资源具备最高的流量水位。 “但我们在2013年把这些问题都有效地解决了,所以2013年的双十一表现得非常好”,这也是技术的核心价值所在。 风云十年:历数阿里技术体系变革 2008年入职阿里,到2012年执掌中间件团队,再到如今的阿里云飞天八部负责人,小邪的角色在不停转变,整个阿里技术体系这十年更是迎来了翻天覆地的变革,在他看来,主要有三个变化: 第一个变化是从开源到自研。阿里从大量使用开源技术到越来越多的自研技术,因为开源技术不管是从代码质量、还是功能需求上都难以满足业务需求,所以团队必须要有很强的自研能力。当然,到自研之后团队又做了很多开源,来使产品运行得更好。 第二个变化是从烟囱式架构到分布式架构。随着业务规模的增长,分布式是必然,今天没有一台服务器、一个系统能够支持如此大的计算能力。 第三个变化是从追求合格到追求极致。阿里在不断地推动技术进步,并在落地过程不断应用完善。不论是云计算,还是团队正在研发的IaaS、数据库、服务器、业务系统等等,它都是一个不断迭代生长的过程,在领域内追求极致创新。 技术成长:角色转变也是职责转变 在阿里云意味着更贴近客户,这对小邪来说是最大的改变。 “以前在中间件团队,产品以及团队磨合都比较成熟了,因此我们的关注点都聚焦在每年双十一的挑战上。但是在阿里云,我们会面对各种需求,并且要求我们通过产品去呈现——这个是很大的区别”,小邪认为,阿里云既是一个技术团队也是一个商业团队,这是非常本质的区别,需要不断通过客户反馈的需求来对产品进行优化。而整个需求的反馈到响应,都需保持通畅。 但对小邪而言,经历这样的转变并没有水土不服,无论是在中台的中间件团队还是更贴近业务的阿里云,不变的是大家都有共同的使命跟愿景,以及对创新的极致追求。在阿里云的这半年时间里,这支团队的战斗力也超出了他的预期。“阿里云团队的整体技术实力非常强,团队经过多次锤炼对市场的敏锐度都非常出色,这个团队的战斗力非常强。” 阿里云飞天八部对外输出了弹性计算、数据库、网络以及存储等核心业务,毫不夸张的说,这也许是小邪近十年最大的一次战役。对此,小邪认为团队接下来主要做三件事:第一是去解决客户痛点;第二个是提升产品竞争力,提升产品性价比、稳定性等指标;第三是持续引进云计算方面的顶级人才。 “我不希望团队去盲目追逐热点,对于研发团队来讲,专注于技术是最核心的任务。” 附部分QA实录: 飞天八部最近在技术领域取得的一系列突破,令人瞩目。新一代关系型云数据库POLARDB、全球首发8K视频直播技术、飞天云操作系统核心技术及产业化项目”获得中国电子学会科技进步特等奖等。在这些成就的背后,你认为有哪些成功因素? 小邪:这得益于我们的研发策略“上拉客户需求,下推产品竞争力”策略,阿里云所有的技术产品都是围绕客户需求展开的,产品要围绕市场需求,用户体验来做,通过销售、实施、服务团队的需求建立持续跟踪的机制,确保客户需求是被很好的反馈和收集的,并被持续完成发布上线。 8K视频就是我们观察到在企业现场直播市场对此有很大的潜在需求,所以我们会快速通过技术研发和技术整合进行产品化。另外阿里巴巴集团自身的场景主够的丰富,全世界最大的电商平台,最大的支付平台,还有物流平台、视频直播、地图等等,就像是一个很大的预演社会,什么场景都会遇到,也是的我们在绝大多数公司遇到技术挑战之前已经完成了探路和建路的过程,我们提前把路上遇到的坑也都填平了,再加上阿里巴巴的中台机制,能够将这些场景化的技术转化为通用类技术,所以通过这个“社会”+“中台”机制沉淀出来的产品有主够远见和竞争力。 技术拓展商业边界,是我们经常听到阿里技术人挂在嘴边的一句话。技术不只服务业务,也为业务提供创新驱动力。对此你是如何理解的?能否举例和大家说明呢? 小邪:技术创新能为业务提供创新驱动力,长远来看,所有的业务的成功都是由技术来推动的。我们需要做的就是不断通过领域内的创新,简化技术使用门槛,推动贵族技术的不断平民化的过程。原本需要用人解决的问题,用技术解决,原本昂贵的技术用便宜的技术解决,这种朴素的诉求是不会改变的。比如原来需要自建,自运维IDC,今天在阿里云上只需要一个账号就能解决,原来需要“高端企业的数据库”场景,明天可以简单实用我们的POLARDB就能解决。技术的创新有个临界值,很多技术不成功不是方向不对,而是没到临界值。车牌的识别准确率在95%以下的时候是没有商业价值的,一旦超过这个值之后,就会出现技术推动商业发展,然后商业又推动技术进步的正循环过程。 今天每个技术要么成熟的支撑于业务,要么还处在类似 “车牌识别的95%准确度” 之下,这种处在创新中的技术,只需要花点时间,给点耐心,就会有爆发的那一天。 十年阿里人,在这十年中,你觉得印象最深刻的事是哪一件?能否和大家聊聊心得体会。 小邪:今天回过头来看,最有意义的一件事情是完成了阿里巴巴集团各个业务板块的中间件技术统一,中间件决定了我们技术的分布式架构体系,这些技术的统一使得我们系统的运维统一、研发统一、学习过程变的简单,我们的工程师从一个部门到另一个部门工作不存在技术门槛。同时集团所有业务的分层架构也变的统一而清晰,业务板块业务的互相依赖调用也变得非常简单,对集团整体的中台战略提供了技术基础。 后来把这些分布式技术产品化,推动并完成了在阿里云上技术的输出,使得中国大量企业在往互联网业务转型过程中可以简单的获取阿里云互联网中间件的产品和服务。 后记 小邪是一个谦卑柔和、极易相处的技术大神,在采访过程中,小邪多次强调技术人应当认真、谦虚、自我学习、并且保持自信。此外,尽管在阿里云工作的节奏很快,但他从未忽视对家庭的责任担当。 “在工作之余也要处理好家里的事情,我会把工作中一些有成就感的事、有趣的事都分享给他们。”
农历新年前,云栖社区专门为在读大学生/研究生准备一份学(huan)习(zhuang)攻略也已经,而现在寒假已经结束,活动共有近两百名学生报名,一共收到了700余篇干货文章,当然,在针对所有活动文章的盘点过程中,我们也发现不少文章并没有达到活动奖项的要求(相关要求请查阅活动详情:新年大招,你的装备升级了吗?),例如字数不够,内容不够充实等等...但不论如何,相信所有参与本次活动的同学都度过了一个充实并且有意义的寒假。 言归正传,鉴于文章发布截止日已到,本次活动的各奖项也将逐一公布啦! 获奖公布: 分享达人:night李、kissjz 优秀博文: NLTK基础教程学习笔记(二) PV 24037,博主:night李 ssm整合配置实例 PV 20476,博主:欧小明 算法学习之路|数位dp简要分析 PV 12278,博主:kissjz 机器学习入门|决策树(一) PV 7791,博主:kissjz ResNet论文复现 PV 7085,博主:veetsin Maven工程建立疑问 PV 7062,博主:欧小明 算法学习之路|拓扑排序 PV 6363,博主:kissjz 主成分分析PCA学习笔记 PV 4944,博主:night李 机器学习入门|决策树(二) PV 4441,博主:kissjz NLTK基础教程学习笔记(一) PV 3690,博主:night李
摘要:12月20日的北京云栖大会上,由云栖社区主办的开发者技术进阶峰会再度开启(报名请戳这里,输入邀请码yqsqz3)。在此之前,我们整理了2017杭州云栖大会开发者技术进阶专场上的精彩分享内容,本文是新浪微博高级架构师谌贻荣的分享内容,他带来人工智能人才技术进阶的心得,他先确立了人工智能的发展思考维度层次,进而分析了想要进阶需要远见和明确自己的志向,重点对人工智能的未来进行畅想并提出知行合一的方法论。 以下是精彩视频内容整理: 层次 在人工智能上我们进步空间到底有多大?在内容广度上,会有DNN、CNN卷积网络、RNN循环神经网络、GAN和RL等;在深度上可以分为两大阶段,一是认知上的了解-理解,一是行动上的应用、改造和创造。越向上的人会越少,比如应用层的从业者就会少一些。 认知层即了解概念、理解原理,应用即将所学及时的付诸于实践,改造即针对问题用自己的理解进行更好的改变,改造变多了累积起来就是一种创造。除此之外,前沿的时间维度也是必要的,深度学习技术在不断地进展,如果没有时间维度而以静止观点去看,很快就会落后,所以必须形成立体空间三维架构。 立志 从我个人来说,大学时期经常会写程序赚点外快,后来觉得许多程序是雷同的,我不禁问我自己,为什么要做这种相似的事情呢?我的成绩也不好,看东西也比别人慢,能否实现自动化呢?我平时也会写许多工具,那么,工具是否也是在浪费时间呢?有没有更快的办法呢? 所以,我联想到自动编程,与之最相近的领域就是自然语言处理,因此我开启了我的硕士求学路。 接触自然语言处理后,我发现人工智能需要做词典、做规则,这不是我追求的东西。于是,我又攻读博士,博士期间我想清楚了智能从何而来,智能是在交流当中产生的,随着技术的进步,技术要提高人的效率,技术要作为人的中介,它使用的层次、概率、比例、宏观和微观,机器占比越高,获得的数据越多,更易于我们优化。真正的智能不在于学界而在于业界,在于服务。 除了自我外,我们还需要有一定的远见。预测未来是很难的事情,但我们仍然要这样做,只有一开始向更高层去看,才能有更大的空间。 人工智能 十年十倍,然后只是一个时代的开始。现在是人工智能的爆发期,那么,人工智能未来是什么样子呢? 我们不妨大胆畅想包括以下几个方面: 1.自动化变成自主化运行,机器可以自主决策一些事情。微博已经取得了一些进展,首先我们有一些脚本报警自动化的过程,其次我们在业务当中有一些自动投稿模型,几乎全部机器自主化投稿。 2.云计算+移动化变成云智能+端智能。阿里云就是典型的云端智能的体现,端上有很大的机会,终端介入世界,比如自动驾驶、眼镜和机器设备,还有机器人组成阵列军队或其它形体,端不是简单的单点端,是一个立体结构,可以是系统、生态甚至世界。 3.感知变成认知: a)机器学习是从数据里面获得一些知识作预测和判断,一些规则体系也会在其中。微博客户端排序使用机器学习,但产品还是会有一些规则体系,如果不了解系统在各个环境下不同的大小不同的规则,说明机器学习做的不够细化。如果只从数据中学得知识是行不通的,规则体系和机器学习的融合才是完整的。 b)多模数据的融合。比如多媒体音频视频,数据库中行为、文本、图像的各种方面可以融合到一块,从感知提升到认知,随着端智能的提高,许多东西汇总到一起进行场景重建,认知就是汇聚感知,辅助决策。 4.迅速模糊的虚拟和现实边界。现在的技术正在模糊虚拟和现实的边界,比如 AR+VR+Simulation for Training or Design,我们仿造世界的样子,在其中训练智能,再将智能用在实际生活当中,还有3D打印+工业制造4.0+等逐步加快了虚拟到现实的速度。5.普惠和垄断相伴而行。数据本身就有垄断的可能,越垄断服务质量越好,大智能即计算+算法+数据+人才+业务一体相伴而行。 知行合一 在战斗中学习,在学习中战斗。认识到某些东西就要拿来做事情,不能指导行动的认知没有意义,不能拓展认知的行动也是徒劳。 知行合一是要加快认知到行动的闭环速度,强调快速反馈,小步快跑,喷泉模型。在做机器学习时候,模型从简单到复杂,快速迭代;为了更快得到结果,数据量从少到多,比如调试一个核心的小代码。知行合一也需要狂热的计算能力需求。 我们的口号是:探索前沿,落地业务。我们需要牢牢的把握前沿,同时也要做好业务的延续。 推荐阅读: 关涛:接手一个6年的平台型系统,我是如何带领团队破局前行的