开发者社区> 工程师甲> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

当搜索推荐遇到广告 - 三位一体的AI·OS技术新体系

简介: AI·OS是由阿里巴巴搜索工程团队负责,集个性化搜索、推荐、广告三位一体的技术平台。本次分享来自该团队资深算法专家喜德,为大家带来这一年里,搜索工程体系在阿里巴巴内网及开源平台上的最新技术成果。
+关注继续查看

本文字数:2280
阅读时间:4~7分钟

您将获得:
1、阿里云AI·OS技术体系的核心价值
2、全面了解阿里云AI·OS技术体系架构
3、深度解析支持阿里云AI·OS技术体系的核心组件及业务场景实现方式

以下是正文


(本文内容来阿里巴巴资深技术专家喜德,在云栖大会推荐与搜索工程技术专场上的分享)

image.png


(喜德_阿里巴巴资深算法专家)

AI·OS是由阿里巴巴搜索工程团队负责,集个性化搜索、推荐、广告三位一体的技术平台。本次分享来自该团队资深算法专家喜德,为大家带来这一年里,搜索工程体系在阿里巴巴内网及开源平台上的最新技术成果。

AI·OS所面临的挑战

image.png

大家在使用手淘时会有三种页面是大家会经常碰到:1、搜索结果页;2、推荐业面;3、大促业面。如最近中秋节的活动,在中秋节主会场中,搜索与推荐的结果都是个性化的。这样大型的会场页面不仅需要涉及后台选品、广告投放、业面搭建,同时还要负责全流程深度学习训练以及预测体系,如果让你负责搭建这样一个促销页面,需要多少时间完成?有的人会觉得可能需要一个月的时间。实际情况是我们完成这样一个页面,只需要一个不懂技术的运营,最快10分钟,最慢15分钟,就可以搭建完成并上线,让用户看到。

image.png

除了淘宝之外阿里巴巴有不同的APP,每个APP都有搜索、推荐、促销、广告。这么多的业务如何让他们能够像手淘一样,拥有最快的算法迭代效率、最佳算法效果、最强性能,且在同一个引擎平台,用最少的人力支持。这就是搜索推荐工程体系要解决的问题。

AI·OS的平台价值及核心能力

image.png

这个问题在工业界很常见。现在生活中绝大多数人都有车且种类各异,如果汽车厂商运用垂直化的方式,从头到尾做,则不管是研发周期的长度,投入的人力、技术稳定时间,都是需要消耗大量资源且花费很长时间。而汽车工业界解决这个问题的方法,就是打造一个汽车平台,最有名就是大众的MQB平台,MQB平台对动力系统、操控系统这些汽车共有的部件进行沉淀,同时保留很强的可定制的能力。

image.png

那么回到搜索和推荐的业务上来,我们同样需要支持大量的业务端,其中包括阿里内网的业务、云上的业务,比如开放搜索、Elasticsearch、智能推荐;有效的支持这些业务则一定要有基础能力的沉淀,包括在线能力的沉淀,像召回、排序、分布式通信框架,高性能的索引结构,深度学习的训练、预测、数据处理的全流程、大量服务器的管理、离线数据处理能力、运维管控的能力以及给用户提供方便的插件定制能力。这些能力聚集到一起就是AI·OS平台的价值。

AI·OS架构解读

image.png

AI·OS底层部件是Hippo,一个兼容Kubernetes api的资源调度系统,在这个系统中,保障阿里内网在搜索推荐体系实现70%峰值利用率的情况下,在线业务不受任何影响。同时我们支持周均55%的平均CPU的利用率,这意味着,如果在线服务有峰谷,在线服务只有10%-20%CPU的使用率的情况下,结合离线混布做到平均55%的CPU利用率,可以节省一倍的机器,成本可以大幅降低。

在资源调度系统之上,我分为在线和离线两部分,而在线这部分我们可以分为五大核心引擎,通过这五个核心引擎可以组成不同的业务能力,比如做一个搜索系统,可以用图引擎做个性化信息的获取,用HA3搜索引擎做搜索召回,用深度学习的预测引擎做相关的算分和排序。而做推荐引擎,只需把搜索引擎换成推荐引擎就可以了,这样就可以组合出一个推荐业务,通过这种底层灵活的组件结合,可以保证快速业务的迭代,并保障非常好的性能。

XDL介绍:

在五大引擎之上,我们针对不同的业务特点,将搜索、推荐、广告运用在不同的运维系统和业务接入系统。离线部分,基于计算平台的四大技术组建构建我们的离线系统,包括深度学习PAI、数据分析处理平台MaxComputer、实时计算平台Blink、交互式分析平台Hologres。因为采用云上、云下一体化的结构,四大平台在阿里云上都可以看到。基于这四大平台,加上搜索、推荐、广告的商品特性,需要由我们自己深度学习的训练平台XDL。XDL主要解决的问题在搜索推荐广告商品的场景中,解决大规模分布式的训练和预测的问题,用XDL平台的核心原因,是因为商品的场景,和语音图象视频翻译之间的深度学习场景有很大不同,而不同点体现在商品场景中,有大量稀疏的特征,这意味着我们会有亿级别的特征,十亿级别的参数,百亿级别的样本,这个量级很大且稀疏,我们需要结合场景,做针对性的调整,这个调优与图像的场景不同的,这就促使我们必须有这样的平台。目前XDL处于开源状态。

image.png

我们在支持世界上最大的垂直商业搜索引擎时,数据的量级和业务规模决定了这是一个大规模高频触发处理平台,且支持分钟级实时学习。在深度训练场景中,训练越实时,用户的行为反馈就会越快,这也是商业场景中非常有特点的需求。在看到一个商品的时候,你会同时看到一批商品特性跟一般训练的组合的不同,会有结构性的特点,有利于我们提供针对性优化,对性能和存储带来提升。

Euler介绍:

image.png

在图学习细分领域,我们同样可以在商业场景中获得很好的效果,我们会有专门深度学习的子分支Euler,Euler是一个非深度部分的数据处理平台,主要针对搜索和推荐数据索引前需要用到的一些数据分析处理,以及分布式计算的业务逻辑。另外是端到端的深度学习、训练、预测一体化的系统算法平台,处理的是从样本的生成、训练,到模型的验证、分析,再到在线的上线切换、服务,一直到样本回流。通过这个系统,算法同学可以实现非常快的迭代速度。因为在深度学习迭代过程中,迭代越快,你的算法效果可以做的越好。在商业场景中,我们会有一些常用的图形算法,从游走类,如deepwork,到比较复杂的卷积类,如GCNGCT等,我们在Euler这个平台里面都给大家提供一个基础的实现能力,同时阿里内部在用的三种算法我们也同样进行了开源。大家可以通过上图二维码扫码了解。同时我们在图学习的底层提供了非常关键的组建--图引擎,我们内制的游走类和卷积类的算法,支持管理的接口,方便大家拓展算法,给自己的业务带来很好的效率提升。

基于这个AI·OS算法平台,我们不仅支持了阿里内部搜索推荐业务,同时也支持阿里广告业务、云上的Elasticsearch、开放搜索、智能推荐这些业务,所以是三位一体的引擎平台体系。

相关活动:

限时折扣截止--11/29

  1. 新购,首月75折
  2. 新购/续购/升级,预购6个月85折
  3. 新购/续购/升级,预购12个月8折

点击下方产品链接购买

开放搜索(Opensearch)
阿里巴巴自主研发的大规模分布式搜索引擎平台,其核心引擎HA3(问天3)系统为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过集成智能查询语义理解、机器学习排序算法等能力,旨在为企业提供高搜索质量的一站式内容智能搜索服务。
智能推荐(AIRec)
基于阿里巴巴领先的大数据和人工智能技术,结合在电商、内容、新闻、视频直播和社交等多个行业领域的积累,为全球企业及开发者提供个性化推荐服务

加入社区

点击 订阅《阿里云搜索与推荐技术交流期刊》,获取本片原文干货文稿!

如果你想与更多开发者交流随时交流、了解最前沿的搜索与推荐技术,可以扫码加入社群
TB10DYxkYY1gK0jSZTEXXXDQVXa-894-1075.jpg

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
大数据和人工智能工程上的一些点
大数据 大数据这个词最早出现在上世纪90年代的美国,直到2012年后才火起来。大数据没有一个明确的概念,之所以称之为大是因为数据量太大超过了单台计算机的资源,这时就需要分布式的数据处理工具,以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的mapreduce论文和hadoop开源工具。然而海量数据本来是静态,只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能 人工智能在1956年的达特茅斯会议上被提出来,它研究的是如何制造智能机器或模拟人类的智能行为。大数据与人工智能之间可以说是相辅相成,人工智能的基础是数据,而数据的利用又离不开人工智能。各
0 0
AI和大数据结合,智能运维平台助力流利说提升核心竞争力
简介:本文整理自数智创新行——智能运维专场(上海站),流利说最佳实践演讲:《基于SLS千万级在线教育平台统一监控运营实践》
0 0
大数据和AI客户案例中心
大数据和AI客户案例中心收集了大多数行业的客户实战案例分享
0 0
阿里云新品发布会周刊第82期 丨 重磅!大数据实时分析与决策&当AI遇上展会
12月23日阿里云新品发布会带您了解阿里云实时数仓如何助力企业实时决策;12月25日更有新栏目“云计算情报局”登场展现-当AI遇上展会。更多精彩内容敬请关注阿里云新品发布会!
0 0
大数据与AI如何助力食品饮料行业发展?
在最近几年之中,下一个大的食品和风味潮流的答案与人类的关系越来越小,而与大数据和人工智能的关系越来越大。
430 0
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区,为了更好地传播和分享业界最新技术和最佳实践,现在联合Intel及开源社区同行,打造一个纯粹的技术交流线下沙龙《大数据 + AI》,定期为大家做公益分享。首站上海开站,请猛戳链接报名!https://www.slidestalk.com/m/61
890 0
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区,为了更好地传播和分享业界最新技术和最佳实践,现在联合Intel及开源社区同行,打造一个纯粹的技术交流线下沙龙《大数据 + AI》,定期为大家做公益分享。首站上海开站,请猛戳链接报名!https://www.slidestalk.com/m/61
694 0
Analytics-Zoo:统一的大数据分析+AI平台|阿里云峰会 开源大数据专场
2019阿里云峰会·上海开发者大会于7月24日盛大开幕,本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势。本文整理自开源大数据专场中英特尔资深架构师利智超先生的精彩演讲。
3807 0
搭建高校AI大数据实训室,2019高校大数据科研教学整体解决方案
数道云大数据助力高校大数据分析课程教学,培养大数据多种实用型技术人才。基于数据的采集、存储、计算和大数据框架平台管理,让学生掌握对大数据的离线、实时处理和部分数据分析进行深度理解和把握。
1618 0
+关注
工程师甲
搜索与推荐工程技术团队、阿里云Elasticsearch技术团队;
文章
问答
文章排行榜
最热
最新
相关电子书
更多
AI·重构企业客户服务能力
立即下载
阿里视觉AI开放之路:从公共云走向端云协同
立即下载
阿里巴巴机器学习平台AI
立即下载