广告系统中的大数据处理 | 宋慧庆

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。
+关注继续查看

什么是大数据?

从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。

63c7d965782db3a886664bfe604290e211b73e6e

75187c916d79ea2a9d2c3aea649bb8c8fa51bbc5

广告系统的数据来源

  • DSP监听数据(主要是ssp,adx渠道)
  • 广告主数据
  • 广告投放过程中收集的数据
  • 购买/通过交换得到的第三方数据
  • 运营商合作数据


精准广告的系统特点

  • 数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据)
  • 响应速度要求特别快
  • 实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性)
  • 系统可用性要求特别高(柔性降级,可扩展性)


PC广告与移动广告的区别

  • 交互方式的不同
  • 使用位置的不同
  • 用户标识的不同
  • 展现形式的不同
  • 网络环境的不同
  • 受众定向的不同


精准广告中数据的主要应用

  • DMP
  • 人群/用户画像
  • 个性化创意/推荐引擎
42270ede6f1ef621b2c131576487d3d5f33ac8da
2171be14517be86b41ee923275f145b689ae23b0
f25a8b178ee0c25516bba4d27e7e10b4ae7be860

大数据处理分析技术介绍

  • 储存/缓存
  • 计算
  • 算法/规则


储存/缓存

  • Tair/redis2 -> ssdb/redis3 -> aerospike
  • Kafka/DL
  • Mongodb/hbase
  • Hadoop
  • Mysql


计算


  • Hive/mr
  • Storm
  • Spark Streaming


算法/规则

  • 协同过滤(UserCF/ItemCF)
  • 文本相似/图片相似
  • 关联规则(支持度和置信度)
  • 逻辑回归模型
  • 兴趣时间衰减
  • 规则引擎(DNA)


心得体会

  • 做工程不易,且做且珍惜(技术+管理+工匠精神)
  • 建立PDCA效果验证闭环
  • 每一个做技术的都应该有崇高的理想,技术只是手段

分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
12月前
《阿里云营销引擎——为企业打造高水准的广告系统》电子版地址
阿里云营销引擎——为企业打造高水准的广告系统
76 0
《阿里云营销引擎——为企业打造高水准的广告系统》电子版地址
|
开发者
营销引擎 - 广告主如何使用借助营销引擎快速搭建的 DSP|学习笔记
快速学习营销引擎 - 广告主如何使用借助营销引擎快速搭建的 DSP
75 0
营销引擎 - 广告主如何使用借助营销引擎快速搭建的 DSP|学习笔记
|
SQL 机器学习/深度学习 分布式计算
基于阿里云平台进行游戏数据分析(三)
在本项目中,我们将基于阿里云平台进行游戏数据分析。本文是这个项目介绍的第三部分,主要介绍对游戏数据进行相关性分析和对比分析,并得出结论。
160 0
基于阿里云平台进行游戏数据分析(三)
|
机器学习/深度学习 SQL 算法
基于阿里云平台进行游戏数据分析(二)
在本项目中,我们将基于阿里云平台进行游戏数据分析。本文是这个项目介绍的第二部分,主要介绍绘制散点图,建立回归模型,检测变量之间的线性关系。
278 0
基于阿里云平台进行游戏数据分析(二)
|
机器学习/深度学习 数据采集 SQL
基于阿里云平台进行游戏数据分析(一)
在本项目中,我们将基于阿里云平台进行游戏数据分析。本文是这个项目介绍的第一部分,主要介绍项目的背景,数据导入与预处理等环节。
270 0
基于阿里云平台进行游戏数据分析(一)
|
SQL 存储 缓存
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
报表加载慢、分析卡顿导致思路被打断...常常会给数据分析师造成很大困扰。 不如试试Quick引擎,十亿数据只需0.3秒就可以完成数据分析!
196 0
【视频特辑】数据分析不卡顿,十亿数据0.3秒搞定!看看Quick引擎是如何做到的吧~
|
新零售 搜索推荐 数据挖掘
推荐文章
更多