行业背景
广告业务一直是互联网公司的主要利润来源，其市场规模 2017 年已达 3000 亿元，据统计全球互联网市值前十的公司广告收入占比高达 40%，可见其重要性。而与互联网广告相关的技术，我们称之为计算广告，也是最为成熟，市场规模最大的大数据应用领域。互联网广告领域经过长期发展，分工逐渐精细化，除了各种代理商之外，还出现了 ADN、SSP、ADX、DSP 等各种平台，市场结构极为复杂，形成了一个巨大的生态。
互联网广告从诞生那一刻起就与技术紧密相关，这也是互联网广告相比传统线下广告更有优势的地方，通过大数据和机器学习等技术，互联网广告能够在个性化技术的基础上实现更精准的受众定位，不断提高受众与广告的匹配度，让目标群体在具象化的场景中看到精准投放的广告，达成三方共赢。
广告投放的基本流程是确定的，但每次决策会随着场景的变化产生不同的结果，其决策依据便来源于离线数据处理模块和在线数据处理模块，可以说这两部分是整个计算广告系统的神经中枢，也是决定计算广告系统最终效果的关键部分。
解决方案
大数据的数据处理以离线计算为开端，所以很多应用实施在了离线计算引擎上，但随着在线计算引擎的发展，越来越多的业务都可以在线化、实时化。比如离线处理中人为决策的部分，其实可以改造成实时报表，甚至实时数仓，另外在线机器训练也越来越普及，在线业务的好处显而易见。
在广告行业中，整个广告的决策过程是一个实时、在线的过程，传统的离线技术则很难满足全部业务发展的需求。广告行业场景全面向实时化转型，包括：
- 在线反作弊：互联网广告的核心是流量，流量作假将直接影响收益。据 ANA 统计，大约有 37% 的在线广告点击存在作弊，可见在线反作弊模块的重要性，处理不当可能造成巨大的资金浪费。
- 在线计费：很多广告系统是程序化交易（如 DSP），每次点击都会扣除广告主相应的费用，这要求系统能够快速完成结算、扣除费用，并下线费用不足的广告。并且计费需要扣除作弊流量，维护广告主的权益。
- 在线受众定向：受众定向主要是计算用户的各种标签，有时用户短期内的行为更有参考价值，产出的短期标签更有效，比如受众突然看到某篇文章进而对某类产品产生了兴趣。这在效果类广告上更加明显。
- 在线点击反馈：可以根据用户在线点击情况去调整 CTR 模型以更好的预估点击率。
- 实时索引：广告是一种商业行为，广告主会根据当前广告的效果调整广告策略，每次调整后都需要尽快生效，否则将造成资金浪费，因此需要实时把广告的更新或发布都建到广告索引中去。
- 实时广告链接检测：根据访问日志快速判断某些广告链接是否失效，如果失效则快速将其下线，防止资损。
成功案例
趣头条
“趣头条”是一款由上海基分文化传播有限公司开发的 APP。团队致力于通过大数据算法和云计算等技术，为用户提供内容及服务。在 2018 年，经过谨慎的技术架构对比，抛弃了 Spark Streaming 和 Storm，直接基于 Flink 搭建了实时计算平台。
Flink 目前在基分的应用非常广泛，支撑整个集团的产品，包括趣头条、米读、米读极速版、萌推等。业务场景主要是计费、监控、仓库、用户画像、算法、内容线六部分：
- 计费，主要是计算广告商接入的计费成本，并与其进行结算。每次广告点击完成后，每个月可能会产生类似于离线报表的数据，目前如果需要切换成实时，基本只需要点击就会产生扣费环节，是非常核心的任务。
- 监控，业务存在不同类型的监控需求，如：机器层面、应用层面等。
- 仓库，目前基本是批量落数据，比如五分钟、十分钟，类似于窗口的间隔时间去落数据。
- 用户画像，即将用户画像的一些数据通过 Flink 进行清洗，完成之后会落到 HDFS 上，用来做训练。
- 算法，目前除了用户画像，还有推荐，当前不同用户打开 APP 之后会推荐不同的内容。
- 内容线，主要用于风控，部分用户存在利用 APP 刷金币的行为，比如打开某个内容之后，不看内容而可在后台跑一百多个程序进行刷金币，目前通过 Flink 可以做到实时风控，能实时识别出某台设备是否是真正的用户，如果不是，就会将其屏蔽掉。
通过使用实时计算技术，平台可构建用户实时画像并对广告进行精准投放，提高点击率和转化率；实现精细化运营，提升平台对用户的吸引力，进而提高用户留存时长；对核心业务的实时监控，也保证了整体链路的稳定性和安全性。
实时计算 Flink 版产品交流群
阿里云实时计算Flink - 解决方案：
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例：
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页：
https://www.aliyun.com/product/bigdata/product/sc
