开发者社区> jurassic_1> 正文

广告系统中的大数据处理 | 宋慧庆

简介: 分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。
+关注继续查看

什么是大数据?

从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。

63c7d965782db3a886664bfe604290e211b73e6e

75187c916d79ea2a9d2c3aea649bb8c8fa51bbc5

广告系统的数据来源

  • DSP监听数据(主要是ssp,adx渠道)
  • 广告主数据
  • 广告投放过程中收集的数据
  • 购买/通过交换得到的第三方数据
  • 运营商合作数据


精准广告的系统特点

  • 数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据)
  • 响应速度要求特别快
  • 实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性)
  • 系统可用性要求特别高(柔性降级,可扩展性)


PC广告与移动广告的区别

  • 交互方式的不同
  • 使用位置的不同
  • 用户标识的不同
  • 展现形式的不同
  • 网络环境的不同
  • 受众定向的不同


精准广告中数据的主要应用

  • DMP
  • 人群/用户画像
  • 个性化创意/推荐引擎
42270ede6f1ef621b2c131576487d3d5f33ac8da
2171be14517be86b41ee923275f145b689ae23b0
f25a8b178ee0c25516bba4d27e7e10b4ae7be860

大数据处理分析技术介绍

  • 储存/缓存
  • 计算
  • 算法/规则


储存/缓存

  • Tair/redis2 -> ssdb/redis3 -> aerospike
  • Kafka/DL
  • Mongodb/hbase
  • Hadoop
  • Mysql


计算


  • Hive/mr
  • Storm
  • Spark Streaming


算法/规则

  • 协同过滤(UserCF/ItemCF)
  • 文本相似/图片相似
  • 关联规则(支持度和置信度)
  • 逻辑回归模型
  • 兴趣时间衰减
  • 规则引擎(DNA)


心得体会

  • 做工程不易,且做且珍惜(技术+管理+工匠精神)
  • 建立PDCA效果验证闭环
  • 每一个做技术的都应该有崇高的理想,技术只是手段

分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
自研大数据分析技术,「安尔法」为采矿业打造智能运维系统
单台设备的故障停机就可能造成百万元级别的损失
799 0
php 发送超大数据处理
set_time_limit(0);//设置永不超时 ignore_user_abort(); //设置客户端断开,继续处理 //总数 $allusercount= $this->gamedb_model->query_onerow(); $allcoun...
607 0
2017大数据标准化论坛发布了第一批大数据系统测试结果,阿里云数加获得了大数据系统测试证书。
2017年3月18日, 2017大数据标准化论坛在北京成功召开。本次论坛由工业和信息化部信息化和软件服务业司和国家标准化管理委员会工业标准二部指导,中国电子技术标准化研究院和全国信标委大数据标准工作组共同主办。
2850 0
+关注
jurassic_1
中生代技术,一群技术人在每周三晚上的技术分享 微信公众号:中生代技术
120
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载