Aerospike在实时竞价广告中的应用

简介: Aerospike在实时竞价广告中的应用

首先要介绍的是,什么是实时竞价广告?如图11-9所示


微信图片_20220121165114.jpg

图11-9 实时竞价广告模式


与广告业务相关的术语

首先介绍几个与广告业务相关的术语:

  • RTB(RealTime Bidding)实时竞价:一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。与大量购买投放频次不同,实时竞价规避了无效的受众到达,针对有意义的用户进行购买。它的核心是DSP平台(需求方平台),RTB对于媒体来说,可以带来更多的广告销量、实现销售过程自动化及减低各项费用的支出。而对于广告商和代理公司来说,最直接的好处就是提高了效果与投资回报率。
  • DSP(需求方平台):需求方平台允许广告客户和广告机构更方便地访问,以及更有效地购买广告库存,因为该平台汇集了各种广告交易平台,广告网络,供应方平台,甚至媒体的库存。有了这一平台,就不需要再出现另一个繁琐的购买步骤——购买请求。
  • Ad Exchange(广告交易平台):一个开放的、能够将媒体主和广告商联系在一起的在线广告市场(类似于股票交易所)。交易平台里的广告存货并不一定都是溢价库存,只要媒体主想要提供的,都可以在里面找到。
  • DMP(Data-Management Platform):数据管理平台能够帮助所有涉及广告库存购买和出售的各方来管理数据、更方便地使用第三方数据、增强他们对所有这些数据的理解、传回数据或将定制数据传入某一平台,以进行更好地定位。
  • SSP(Sell-SidePlatform,供应方平台):供应方平台能够让出版商也介入广告交易,从而使它们的库存广告可用。通过这一平台,出版商希望他们的库存广告可以获得最高的有效每千次展示费用,而不必以低价销售出去。供应方平台,是站长服务平台。站长们可以在SSP上管理自己的广告位,控制广告的展现等。
  • UserProfile(用户画像):用户画像就是把人的属性(用户的属性)数字化,变成机器可理解的方式。用户画像是根据用户的社会属性,生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作既是给用户打上合适的标签,而标签是通过对用户信息分析得来的高度精炼的特征标识。


接下来我们进行具体介绍:


当用户浏览一个加入SSP(供应方平台)的站点时,SSP会把此次请求发送到AD EXCHANGE(广告交易平台),然后ADX会把这次请求发送给多家DSP,DSP(需求方平台)根据自身的DMP(数据管理平台),通过对次用户的了解程度进行竞价,最终竞价胜出的DSP获得展现广告的机会。


DSP竞价(RTB:实时竞价)胜出的关键是DMP能够根据用户的历史浏览等数据分析和定位用户属性,其中实时竞价广告中非常重要的一个环节就是UserProfile(用户画像)。类似于图11-10实时决策流程。


微信图片_20220121165144.jpg


图11-10 实时决策流程图


分别通过HDFS和HBASE对日志进行离线和实时的分析,然后把用户画像的标签结果存入高性能的Nosql数据库Aerospike中,同时把数据备份到异地数据中心。前端广告投放请求通过决策引擎(投放引擎)向用户画像数据库中读取相应的用户画像数据,然后根据竞价算法出价进行竞价。竞价成功之后就可以展现广告了。而在竞价成功之后,具体给用户展现什么样的广告,就是有上面说的个性化推荐广告来完成的。


在用户画像系统中,缓存主要用来存储用户(设备)的标签属性,根据不同的定向规则,定义的缓存数据格式不同,如图11-11所示。


微信图片_20220121165211.jpg


图11-11 缓存数据格式


根据上图可知,用户数据统一存储在缓存库UPF中,然后根据用户ID的加密类型(加密方式有MD5、SHA1、明文)分不同的缓存表,同时也会为每一个第三方adx请求过来的数据建立一个缓存库,主要的作用是为了多方数据的打通和相互利用。


接下来主要是根据数据和运营的具体情况,根据不同的定向条件筛选用户人群,比如对用户的兴趣,用户的消费能力,性别,是否有转化等等多个维度进行描述。同时,也会对不同的行业比如金融,游戏,电商等划分不同的定向条件。


而缓存的具体应用架构,见图11-12


微信图片_20220121165230.jpg


图11-12 用户画像架构


此应用架构包含实时标签引擎和离线标签引擎两个主要部分,这样设计的原因主要是出于系统投入的成本来考虑。


离线标签引擎通过基于HDFS的HIVE/SPARK对设备的APP安装情况,以及广告投放的效果数据,根据规则和算法,然后把标签数据缓存中ASCACHE中,这里的AS就是Aerospike。然后提供给广告引擎做精准广告投放的判断依据。


通过离线计算的数据和日志主要都是数据量大,而且实时要求并不是特别高,比方说广告请求日志,竞价日志等等;而实时标签引擎则主要处理效果数据等,对实时性要求较高的数据,比方广告的展现,点击,转化数据等。


对于ADX渠道而言,由于对接的渠道数据各有各的特点,需要区别对待。从设备标识来讲,有些渠道的设备标识是明文,而有些是通过MD5或者SHA1加密,比方像BAT这样的流量渠道把用户的设备ID通过加密的方式传给DSP,为了尽量把这些数据都利用起来,则需要把这些数据分别存放在不同的缓存库中,如SHA1USER和MD5USER用来存储通过SHA1和MD5加密的渠道设备数据。如果渠道设备ID是明文,则要通过加密后分别保存到SHA1USER和MD5USER中,以供各渠道之间进行用户数据的共享,终极的目标离不开完善人群库,提高广告的精致度。



相关文章
|
9天前
|
关系型数据库 分布式数据库 数据库
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
PolarDB分布式版助力《香肠派对》实现百亿好友关系20万QPS的毫秒级查询。
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
|
3月前
|
存储 弹性计算 关系型数据库
100W用户、8000W流量在线贺卡应用架构如何优化?
100W用户、8000W流量在线贺卡应用架构如何优化?
|
9月前
|
Kubernetes 搜索推荐 开发者
基于Whoogle自建无广告、无追踪的搜索引擎
基于Whoogle自建无广告、无追踪的搜索引擎
|
搜索推荐 决策智能
互联网竞价广告系统运行机制
关于竞价广告,很多人有两个极端的看法: 第一观点会认为竞价广告非常简单,不就是央视每年黄金广告位招标么,谁出价高广告位给谁; 第二个极端会认为竞价广告过于复杂,涉及到到博弈论、机制设计、拍卖理论、CTR预估等普通人根本弄不明白高深理论,因此很多人对此望而却步………然而,真相到底是神马?本文将揭开神秘面纱
579 0
互联网竞价广告系统运行机制
|
SQL 监控 数据库
网站流量日志分析—数据入库—宽表具体表现1—时间拓宽|学习笔记
快速学习网站流量日志分析—数据入库—宽表具体表现1—时间拓宽
185 0
网站流量日志分析—数据入库—宽表具体表现1—时间拓宽|学习笔记
|
数据采集 分布式计算 关系型数据库
离线计算-国内查询转换率|学习笔记
快速学习离线计算-国内查询转换率
153 0
|
存储 SQL JSON
ClickHouse:抓住你的每一个目标用户,人群圈选业务的大杀器
随着数据时代的发展,各行各业数据平台的体量越来越大,用户个性化运营的诉求也越来越突出,用户标签系统,做为个性化千人千面运营的基础服务,应运而生。如今,几乎所有行业(如互联网、游戏、教育等)都有实时精准营销的需求。针对复杂条件过滤的场景,ClickHouse对多条件筛选流程做出优化,扫描的数据量更小,性能也较ES而言更高效。
5839 0
ClickHouse:抓住你的每一个目标用户,人群圈选业务的大杀器
|
存储 SQL 搜索推荐
阿里云PostgreSQL案例精选1 - 实时精准营销、人群圈选
标签 PostgreSQL , 阿里云 , 实时精准营销 , 人群圈选 , 广告 背景 行业: 几乎所有行业, 如互联网、新零售、教育、游戏等. 应用场景: 根据目标群体的特征, 快速提取目标群体.例如, 在电商行业中, 商家在搞运营活动前, 根据活动的目标群体的特征, 圈选出一批目标用户进行广告推送或活动条件的命中. 在游戏行业中, 运营经常会根据游戏玩家的某些特征圈
1001 0