互联网智能广告系统简易流程与架构 | 架构师之路

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 很多朋友估计没有做过这一块,争取最简洁的语言描述清楚。

很多朋友估计没有做过这一块,争取最简洁的语言描述清楚。

一、业务简述

image.png

从业务上看 整个智能广告系统,主要分为:

1)业务端:广告主的广告后台

2)展现端:用户实际访问的页面

业务端,广告主主要有两类行为:

1)广告设置行为:例如设置投放计划,设置地域,类别,关键字,竞价等

2)效果查看行为:例如广告展示次数是多少,广告点击次数是多少等

展现端,用户主要也有两类行为:

1)站点浏览行为:用户浏览实际的信息,此时广告系统决定出广告主的什么广告

2)广告点击行为:此时广告系统会对广告主进行扣费

二、业务流程

下面通过一个的例子,让业务流程更直观。

步骤一:广告主在业务端投递广告

广告主登录业务端后台,进行设置:

今日投放地域是“北京-上地”

投放类别是“租房”

定向人群为“女”,“30岁以下”

需要推广的广告内容是他发布的一条“房屋出租”的帖子

竞价设置的是0.2元

单日预算是20元

这些数据,当然通过业务端存储到了数据层,即数据库和缓存里。

步骤二:用户来到了网站,进入了“北京-上地-租房”类别,广告初筛实施

用户产生了平台浏览行为,网站除了展示自然内容,还要展示广告内容。被展现的广告不能太离谱,太离谱用户也不会点击。

image.png

合适的广告,必须符合“语义相关性”,即基础检索属性(广告属性)必须符合(广告能否满足用户的需求,满足了点击率才高),这个工作是通过BS-basic search检索服务完成的。

BS从数据层检索到“北京-上地-租房”的广告帖子。

步骤三:用户属性与广告主属性匹配,广告精筛实施

步骤二中,基础属性初筛了以后,要进行更深层次的策略筛选(用户能否满足广告的需求),此例中,广告主的精准需求为:

用户性别为“女”

用户年龄为“30岁以下”

用户访问IP是“北京”

image.png

系统将初筛出来的M条广告和用户属性进行匹配筛选,又过滤掉了一部分,最后剩余N条待定广告,这些广告既满足用户的需求(初筛),这些用户也满足广告主的需求(精筛),后者是在AS-advanced search策略服务完成的。

步骤四:综合排序,并返回Top X的广告

经过步骤2和步骤3的初筛和精筛之后,待选的N条广告既能满足用户当前的需求,用户亦能满足广告主的筛选需求,但实际情况是,广告位只有3个,怎么办呢?就需要我们对N条广告进行综合打分排序(满足平台的需求,广告平台要多赚钱嘛)。

打分排序的依据是什么呢?

有人说按照竞价排序bid,出价高的打分高(这是大家对百度最大的误解,百度是cpc收费)

有人说按照CTR点击率排序,CTR高的点的人多(百度的kpi指标可不是pv)

出价高,但没人点击,广告平台没有收益;点击率高,但出价低,广告平台还是没有收益。最终应该按照广告的出价与CTR的乘积作为综合打分排序的依据,bid*CTR。

既然bid*CTR是所有广告综合打分的依据,且出价bid又是广告主事先设定好的,那么实际上,广告排序问题的核心又转向了广告CTR的预测,CTR预测是推荐系统、广告系统、搜索系统里非常重要的一部分,是一个工程,算法,业务三方结合的问题,本文就不展开讨论了。

无论如何,N条广告,根据bid*预估CTR进行综合打分排序后,返回了打分最高的3个广告(广告位只有3个)。

有些系统没有第二步骤用户属性过滤,而是将用户属性因素考虑到综合排序中。

步骤五:展现端展示了广告,用户点击了广告

展示了广告后,展现端js会上报广告展示日志,有部分用户点击了广告,服务端会记录点击日志,这些日志可以作为广告算法实施的数据源,同时,他们经过统计分析之后,会被展示给广告主,让他们能够看到自己广告的展示信息,点击信息。

这些日志(一般会实施AB测),也是算法效果好坏评估的重要依据,根据效果逐步优化改进算法。

步骤六:对广告主进行扣费

用户既然点击了广告,平台就要对投放广告的广告主进行扣费了,扣费前当然要经过反作弊系统的过滤(主要是恶意点击),扣费后信息会实时反映到数据层,费用扣光后,广告就要从数据层下线。

三、系统综述

image.png

聊完业务流程,再来看系统架构,任何脱离业务的架构设计都是耍流氓。

从系统分层架构上看,智能广告系统分为三层:

站点层:用户和广告主直接面向的网站站点

服务层:为了实现智能广告的业务逻辑,提供的通用服务,此处又主要分为四大类服务:

策略服务BS:实施广告策略,综合排序

检索服务AS:语义相关性检索

计费服务:用户点击广告时进行扣费

反作弊服务:不是每次点击都扣费,要经过反作弊,去除恶意点击(相对独立,未在架构图中画出)

数据层:用户数据,广告数据,竞价数据,日志数据等等等等

四、总结

智能广告系统的业务流程与系统架构:

1)广告主投放与设置广告

2)用户访问平台,展现合适广告

通过广告属性,进行“语义相关性”初筛,通过BS完成

通过用户属性,出价信息,点击率预测信息,进行综合打分排序筛选,通过AS完成

3)记录展现日志,点击日志,进行扣费

广告是展现,是一个:

广告满足用户需求(初筛)

用户满足广告需求(精筛)

平台利益最大化(bid*CTR综合排序)

的过程

广告的排序不是由出价(bid)决定的,而是由出价(bid)*点击率(ctr)决定的。

点击率(ctr)是一个未来将要发生的行为,智能广告系统的核心与难点是点击率预测。

==【完】==

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
机器学习/深度学习 缓存 自然语言处理
DeepSeek背后的技术基石:DeepSeekMoE基于专家混合系统的大规模语言模型架构
DeepSeekMoE是一种创新的大规模语言模型架构,融合了专家混合系统(MoE)、多头潜在注意力机制(MLA)和RMSNorm归一化。通过专家共享、动态路由和潜在变量缓存技术,DeepSeekMoE在保持性能的同时,将计算开销降低了40%,显著提升了训练和推理效率。该模型在语言建模、机器翻译和长文本处理等任务中表现出色,具备广泛的应用前景,特别是在计算资源受限的场景下。
490 29
DeepSeek背后的技术基石:DeepSeekMoE基于专家混合系统的大规模语言模型架构
|
3月前
|
监控 安全 API
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
本文详细介绍了PaliGemma2模型的微调流程及其在目标检测任务中的应用。PaliGemma2通过整合SigLIP-So400m视觉编码器与Gemma 2系列语言模型,实现了多模态数据的高效处理。文章涵盖了开发环境构建、数据集预处理、模型初始化与配置、数据加载系统实现、模型微调、推理与评估系统以及性能分析与优化策略等内容。特别强调了计算资源优化、训练过程监控和自动化优化流程的重要性,为机器学习工程师和研究人员提供了系统化的技术方案。
239 77
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
|
1月前
|
人工智能 JavaScript 安全
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
95 13
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
|
9天前
【YashanDB 知识库】如何排查 YMP 报错:”OCI 版本为空或 OCI 的架构和本地系统的架构不符“
在迁移预检查的版本检查阶段报错“OCI 版本为空”,原因是 OCI 架构与本地系统不符或依赖库缺失。排查发现 `libdrv_oracle.so` 缺少 `libnsl.so.1` 库,尽管 OCI 客户端路径已正确加入 `LD_LIBRARY_PATH`。解决方法包括下载安装相应动态库版本,或通过软链接指向更高版本库(如 `libnsl.so.2`)。总结:确保动态库路径正确配置,并使用 `ldd` 查看依赖库,必要时创建软链接以解决问题。
|
19天前
|
安全 NoSQL MongoDB
XJ-Survey:这个让滴滴日均处理1.2亿次问卷请求的开源系统,今天终于公开了它的架构密码!
嗨,大家好,我是小华同学。今天为大家介绍一款由滴滴开源的高效调研系统——XJ-Survey。它功能强大,支持多类型数据采集、智能逻辑编排、精细权限管理和数据在线分析,适用于问卷、考试、测评等场景。采用 Vue3、NestJS 等先进技术栈,确保高性能与安全性。无论是企业还是个人,XJ-Survey 都是你不可错过的神器!项目地址:[https://github.com/didi/xiaoju-survey](https://github.com/didi/xiaoju-survey)
63 15
|
1月前
|
存储 SQL 缓存
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
|
2月前
|
存储 缓存 关系型数据库
社交软件红包技术解密(六):微信红包系统的存储层架构演进实践
微信红包本质是小额资金在用户帐户流转,有发、抢、拆三大步骤。在这个过程中对事务有高要求,所以订单最终要基于传统的RDBMS,这方面是它的强项,最终订单的存储使用互联网行业最通用的MySQL数据库。支持事务、成熟稳定,我们的团队在MySQL上有长期技术积累。但是传统数据库的扩展性有局限,需要通过架构解决。
78 18
|
8天前
【YashanDB 知识库】如何排查 YMP 报错:”OCI 版本为空或 OCI 的架构和本地系统的架构不符“
**问题现象**:迁移预检查时,因OCI版本为空或架构不符报错。通过查看yasdts日志发现缺少libnsl.so.1依赖库。 **排查步骤**: 1. 查看日志确认缺少的依赖库。 2. 检查OCI客户端路径是否已加入LD_LIBRARY_PATH环境变量。 3. 使用`ldd`命令检查其他缺失的依赖库。 **解决方法**: 1. 下载并安装所需的动态库版本。 2. 若无法联网,查找本地是否有相应库。 3. 如本地有高版本库,创建软链接指向所需版本(如`ln -s /lib64/libnsl.so.2 libnsl.so.1`)。
|
3月前
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
94 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
|
3月前
|
机器学习/深度学习 人工智能 并行计算
【AI系统】Kernel 层架构
推理引擎的Kernel层负责执行底层数学运算,如矩阵乘法、卷积等,直接影响推理速度与效率。它与Runtime层紧密配合,通过算法优化、内存布局调整、汇编优化及调度优化等手段,实现高性能计算。Kernel层针对不同硬件(如CPU、GPU)进行特定优化,支持NEON、AVX、CUDA等技术,确保在多种平台上高效运行。
133 32

热门文章

最新文章