双11个性化推荐背后,阿里云“舜天”如何应对百亿次挑战?

简介:

2018天猫双11在技术世界,创下不少新记录,其中有一个记录是11日当天阿里全平台共为用户做个性化推荐453亿次,这些推荐的图片长度加起来可以绕地球70圈。

当你在天猫/手淘上买买买的时,图片会以不同格式或分辨率来转码呈现,这就要求后台系统需要强大的算力来保障数倍于平时的转码需求。FPGA是可编程芯片中处理这类并行计算的最佳能耗比方案,这位曾经高冷的“王谢堂前燕”,通过云计算的价值加成,正在赋能越来越多的科技创新。

在今年的XDF 2018大会上,阿里云的工程师首次向业界揭开了阿里云FPGA平台“舜天”的神秘面纱,这台云端计算加速的新引擎初露锋芒。

e85fdfd1f56028daea0f26117e3144b958f42b16

/初识FPGA:计算加速新引擎/

FPGA最大的特点是直接基于硬件编程,拥有高吞吐和低延时等特性,可以很容易搭建出数据并行通道,同时完成流水线并行;相对于ASIC,又具有软件的可编程性和灵活性,这让它能完美适应AI等对大算力有刚性需求并且尚处于快速迭代期的场景。

39af2d9ad54a10494b0f339ee9b86a587446d6ac

FPGA能力模型

然而,传统的FPGA线下开发,过程非常繁琐。对于IP提供商或方案集成商来说,需要自己开发和维护硬件,推广难、成本高。对于客户来说,开发时也绕不开硬件环节,试错成本大、周期长。

FPGA+云正好是解决这些难题的最佳方案。

阿里云工程师张振祥介绍,

“舜天”平台整合了传统FPGA产业链的多个环节:从芯片原厂商,硬件,IP供应商等等,将它们统一打包成平台资源,使客户可以专注于算力的实现,而IP供应商可以简化交付流程,大幅优化交付周期和运营成本。

从2017年8月开始,“舜天”已经历经三代产品迭代,最新上线的F3系列实例,可提供超过1000万逻辑单元和高达47 TeraMACs的DSP计算能力。

以时序数据库为例,舜天平台的处理效率比CPU高出30倍以上:单路FPGA实现的实测峰值性能为2.97GB/s,相比之下,单核CPU压缩的实测性能约为90M/s。在图片识别场景下,舜天F3提供的算力约相当于7台CPU服务器,大幅降低了Capex成本,相比CPU服务器,TCO降低超40%

68e1c93d8bed7dc31986026cbf180e652648a28c

而且,这个能力还可以扩展,当开发者在处理高性能计算和机器学习时,往往需要多芯片共同计算。“舜天”提供了各类高速接口,可完成1/2/4片芯片互联拓扑,并支持动态配置。以卡内双芯片通信为例,带宽高达600Gbps,同时支持多种轻量级传输协议,传输效率达95%

/一睹真容:久经沙场的悍将/

在阿里巴巴内部,“舜天”其实已经久经沙场,支撑了包括双11在内的超大型计算场景、城市大脑、时序数据库、高清视频编解码等等明星业务都涉及FPGA加速。

以双11举例,在客户通过淘宝/天猫APP或者网页端浏览商品时,图片需要以不同格式或分辨率来呈现。舜天平台的并行计算能力,直接将图片处理的延时缩减到CPU服务器的50%,将吞吐能力提升了数倍。

在基因赛场里,“舜天“的表现也很出色,100Gbp全基因组分析时间被缩短至两小时,速度比过去提升了10倍,单位成本也大大降低。全基因,指的就是把物种细胞里面完整的基因组序列从第1个DNA开始一直分析到最后一个DNA,这种技术几乎能够鉴定出基因组上任何类型的突变。

/化繁为简:大幅降低开发门槛/

在传统软件工程师眼里,FPGA芯片的开发门槛是很高的,一方面需要了解HDL硬件编程,一方面需要对底层硬件和接口了如指掌。

在此次的XDF大会上,阿里云工程师潘岳介绍了舜天平台的解决方案。

首先,“舜天”增加了对高级系统语言的支持,包括C, C++, OpenCL等。这意味着开发者可以在他们熟悉的编程语言和工作流程中顺畅使用,而且确保原本基于CPU或GPU的开发可以轻松移植到云上的FPGA器件中。同时,阿里云还提供了大量的参考设计和开发包,帮助开发者快速建立系统。

接口方面,“舜天”提供了统一的标准总线接口,包括:DDR4/5、PCIe、DMA等等,开发者无需动手,只需要关心内部逻辑实现(图中灰色部分)

944203472a0a83c430e6240c614aa75860c62797

此外,阿里云还支持多种主流FPGA的Shell+Role实现,可以适配跨平台的Multi-boot方案,让用户能够轻松完成跨平台迁移。

/IP加密隔离:安全不打折/

作为FPGA生态的最重要一环,IP厂商非常在意云上的多租户环境。既要需要确保IP产品不泄露,又要保证用户购买的IP只能被自己使用。

为此,阿里云采用了IP加密、网络隔离、IP所属权和使用权分离等方式确保了用户的源码(或IP源码)、发行包、部署环境全程对第三方完全不可见,同时还提供健康监控能力,及时感知底层故障并实时报警。

f43f3c9656e34dcce10dce67dff49c4283abf450

作为最早入住舜天平台的IP提供商之一,联捷计算科技CTAccel CEO俞海乐博士表示,

上云后安全是我们最关注的问题,阿里云的安全隔离做得非常到位,这也是我们优先选择阿里云进行部署的原因。

/不变的使命:共建普惠异构生态/

此前阿里云的Slogan“为了无法计算的价值”一直深入人心,积极布道普惠计算。自推出异构计算依赖,开发者在阿里云上能以更少的价格使用性能更强的GPU/FPGA实例,在深度学习领域将开发成本降低了一半以上。

为了让更多开发者能够享受到FPGA的收益,阿里云推出了FPGA弹性云服务器,并建立了FPGA镜像市场,让具有创新思路和成熟解决方案的IP产品通过平台脱颖而出,扩大市场规模,加快研发进度,提高设计稳定性。

张振祥说,

舜天是阿里云使能人工智能产业的一大利器,我们欢迎更多的开发者加入阿里云FPGA生态,推动技术落地到产业中去。

相关文章
|
11月前
|
Cloud Native 架构师 关系型数据库
天弘基金引入阿里云瑶池数据库,实现百亿级数据处理和分析
天弘基金采用AnalyticDB云原生实时数据仓库后,实现了此前架构无法完成的百亿级数据实时处理与分析,逐步从数据支持业务升级到数据驱动业务
|
人工智能 编解码 算法
阿里云 FaaS(FPGA as a Service)舜天平台解决方案(二)|学习笔记
快速学习阿里云 FaaS(FPGA as a Service)舜天平台解决方案(二)
204 0
阿里云 FaaS(FPGA as a Service)舜天平台解决方案(二)|学习笔记
|
人工智能 算法 Serverless
阿里云 FaaS (FPGA as a Service) 舜天平台简介|学习笔记
快速学习阿里云 FaaS (FPGA as a Service) 舜天平台简介
355 0
阿里云 FaaS (FPGA as a Service) 舜天平台简介|学习笔记
|
编解码 算法 Serverless
阿里云 FaaS (FPGA as a Service) 舜天平台合作探讨|学习笔记
快速学习阿里云 FaaS (FPGA as a Service) 舜天平台合作探讨
106 0
阿里云 FaaS (FPGA as a Service) 舜天平台合作探讨|学习笔记
|
机器学习/深度学习 人工智能 编解码
阿里云FaaS舜天平台:执FPGA异构计算之牛耳
本文聚焦于讨论基于FPGA的异构计算,为了行文方便起见,下文中提到异构计算就是指FPGA异构计算。
1484 0
|
存储 运维 监控
阿里云图数据库GDB助力钉钉构建百亿量级知识图谱
客户简介钉钉(DingTalk)是阿里巴巴集团专为中国企业打造的免费沟通和协同的多端平台,提供PC版,Web版和手机版,有考勤打卡、签到、审批、日志、公告、钉盘、钉邮等强大功能。钉钉因中国企业而生,帮助中国企业通过系统化的解决方案,全方位提升中国企业沟通和协同效率。
阿里云图数据库GDB助力钉钉构建百亿量级知识图谱
|
人工智能 达摩院 算法
阿里巴巴2020财年Q3财报发布,阿里云单季度营收超百亿!
阿里巴巴2020财年Q3财报发布,阿里云单季度营收超百亿!
4035 0
阿里巴巴2020财年Q3财报发布,阿里云单季度营收超百亿!
|
存储 安全 容灾
云灾备是更好的“企业保险”,百亿灾备市场迎来阿里云
数字经济时代,数据损失即意味着重大经济损失。
1429 0
|
机器学习/深度学习 人工智能 算法
阿里云FaaS舜天平台:执FPGA异构计算之牛耳
一、异构计算ABC        简单的介绍几个概念,同道中人可以忽略这一段。云计算取代传统IT基础设施已经基本成为业界共识和不可阻挡的趋势。云计算离不开数据中心,数据中心离不开服务器,而服务器则离不开CPU。当然,世事无绝对,上述三个“离不开”自然是针对当下以及并不久远的未来而言。而异构计算的“异构”指的是
7013 0
|
物联网
阿里云技术升级:发布飞天2.0操作系统,可满足百亿级设备计算需求
在9月19日举行的云栖大会上,阿里云发布了新一代云计算操作系统——飞天2.0。阿里方面表示,这是阿里云史上最大的一次技术升级。
2919 0