【行业应用】阿里云实时计算 Flink 版广告行业解决方案-阿里云开发者社区

开发者社区> 阿里云实时计算Flink> 正文

【行业应用】阿里云实时计算 Flink 版广告行业解决方案

简介: 互联网广告领域经过长期发展,分工逐渐精细化,除了各种代理商之外,还出现了 ADN、SSP、ADX、DSP 等各种平台,市场结构极为复杂,形成了一个巨大的生态。

行业背景

广告业务一直是互联网公司的主要利润来源,其市场规模 2017 年已达 3000 亿元,据统计全球互联网市值前十的公司广告收入占比高达 40%,可见其重要性。而与互联网广告相关的技术,我们称之为计算广告,也是最为成熟,市场规模最大的大数据应用领域。互联网广告领域经过长期发展,分工逐渐精细化,除了各种代理商之外,还出现了 ADN、SSP、ADX、DSP 等各种平台,市场结构极为复杂,形成了一个巨大的生态。

互联网广告从诞生那一刻起就与技术紧密相关,这也是互联网广告相比传统线下广告更有优势的地方,通过大数据和机器学习等技术,互联网广告能够在个性化技术的基础上实现更精准的受众定位,不断提高受众与广告的匹配度,让目标群体在具象化的场景中看到精准投放的广告,达成三方共赢。

广告投放的基本流程是确定的,但每次决策会随着场景的变化产生不同的结果,其决策依据便来源于离线数据处理模块和在线数据处理模块,可以说这两部分是整个计算广告系统的神经中枢,也是决定计算广告系统最终效果的关键部分

解决方案

大数据的数据处理以离线计算为开端,所以很多应用实施在了离线计算引擎上,但随着在线计算引擎的发展,越来越多的业务都可以在线化、实时化。比如离线处理中人为决策的部分,其实可以改造成实时报表,甚至实时数仓,另外在线机器训练也越来越普及,在线业务的好处显而易见。

在广告行业中,整个广告的决策过程是一个实时、在线的过程,传统的离线技术则很难满足全部业务发展的需求。广告行业场景全面向实时化转型,包括:

  • 在线反作弊:互联网广告的核心是流量,流量作假将直接影响收益。据 ANA 统计,大约有 37% 的在线广告点击存在作弊,可见在线反作弊模块的重要性,处理不当可能造成巨大的资金浪费。
  • 在线计费:很多广告系统是程序化交易(如 DSP),每次点击都会扣除广告主相应的费用,这要求系统能够快速完成结算、扣除费用,并下线费用不足的广告。并且计费需要扣除作弊流量,维护广告主的权益。
  • 在线受众定向受众定向主要是计算用户的各种标签,有时用户短期内的行为更有参考价值,产出的短期标签更有效,比如受众突然看到某篇文章进而对某类产品产生了兴趣。这在效果类广告上更加明显。
  • 在线点击反馈:可以根据用户在线点击情况去调整 CTR 模型以更好的预估点击率。
  • 实时索引:广告是一种商业行为,广告主会根据当前广告的效果调整广告策略,每次调整后都需要尽快生效,否则将造成资金浪费,因此需要实时把广告的更新或发布都建到广告索引中去。
  • 实时广告链接检测:根据访问日志快速判断某些广告链接是否失效,如果失效则快速将其下线,防止资损。

成功案例

趣头条

“趣头条”是一款由上海基分文化传播有限公司开发的 APP。团队致力于通过大数据算法和云计算等技术,为用户提供内容及服务。在 2018 年,经过谨慎的技术架构对比,抛弃了 Spark Streaming 和 Storm,直接基于 Flink 搭建了实时计算平台。

Flink 目前在基分的应用非常广泛,支撑整个集团的产品,包括趣头条、米读、米读极速版、萌推等。业务场景主要是计费、监控、仓库、用户画像、算法、内容线六部分:

  • 计费,主要是计算广告商接入的计费成本,并与其进行结算。每次广告点击完成后,每个月可能会产生类似于离线报表的数据,目前如果需要切换成实时,基本只需要点击就会产生扣费环节,是非常核心的任务。
  • 监控,业务存在不同类型的监控需求,如:机器层面、应用层面等。
  • 仓库,目前基本是批量落数据,比如五分钟、十分钟,类似于窗口的间隔时间去落数据。
  • 用户画像,即将用户画像的一些数据通过 Flink 进行清洗,完成之后会落到 HDFS 上,用来做训练。
  • 算法,目前除了用户画像,还有推荐,当前不同用户打开 APP 之后会推荐不同的内容。
  • 内容线,主要用于风控,部分用户存在利用 APP 刷金币的行为,比如打开某个内容之后,不看内容而可在后台跑一百多个程序进行刷金币,目前通过 Flink 可以做到实时风控,能实时识别出某台设备是否是真正的用户,如果不是,就会将其屏蔽掉。

通过使用实时计算技术,平台可构建用户实时画像并对广告进行精准投放,提高点击率和转化率;实现精细化运营,提升平台对用户的吸引力,进而提高用户留存时长;对核心业务的实时监控,也保证了整体链路的稳定性和安全性。

实时计算 Flink 版产品交流群

test

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。

官方博客
链接