什么是大数据?
从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。


广告系统的数据来源
-
DSP监听数据(主要是ssp,adx渠道)
-
广告主数据
-
广告投放过程中收集的数据
-
购买/通过交换得到的第三方数据
-
运营商合作数据
精准广告的系统特点
-
数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据)
-
响应速度要求特别快
-
实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性)
-
系统可用性要求特别高(柔性降级,可扩展性)
PC广告与移动广告的区别
-
交互方式的不同
-
使用位置的不同
-
用户标识的不同
-
展现形式的不同
-
网络环境的不同
-
受众定向的不同
精准广告中数据的主要应用
大数据处理分析技术介绍
储存/缓存
-
Tair/redis2 -> ssdb/redis3 -> aerospike
-
Kafka/DL
-
Mongodb/hbase
-
Hadoop
-
Mysql
计算
-
Hive/mr
-
Storm
-
Spark Streaming
算法/规则
-
协同过滤(UserCF/ItemCF)
-
文本相似/图片相似
-
关联规则(支持度和置信度)
-
逻辑回归模型
-
兴趣时间衰减
-
规则引擎(DNA)
心得体会
-
做工程不易,且做且珍惜(技术+管理+工匠精神)
-
建立PDCA效果验证闭环
-
每一个做技术的都应该有崇高的理想,技术只是手段
分享者简介:宋慧庆,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。