开发者学堂课程【MaxCompute 行业应用及调优：基于 MaxCompute 构建 Noxmobi 全球化精准营销系统】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/88/detail/1346
基于 MaxCompute 构建 Noxmobi 全球化精准营销系统
内容简介：
一、行业及公司背景介绍
二、广告业务和系统
三、相关技术及 MaxCompute 应用
四、遇到的问题
一、行业及公司背景介绍
数字营销含义：
全球广告市场规模约6000亿，其中约30%为互联网和移动互联网广告。
数字营销、互联网广告、在线广告、计算广告、程序化广告……。解决如何在互联网媒体上投放广告的问题。
广告主(需求方) :如何成本更低，效果更好。效果如何定义，品牌 or 效果媒体(供应方) :如何收益更高，长期or短期。
中间商:连接供需，赚差价.规模效应和垄断。
数字营销，应用最新的互联网技术来提高效率。
广告主:减少浪费，让最合适的人看到广告。
媒体:把广告位卖给最需要的人。
中间商:高效撮合交易。
二、广告业务和系统
广告业务的主要流程，广告系统的架构和我们的演进过程。
三、相关技术及 MaxCompute 应用
相关技术应用介绍:流式计算、高线计算、标签抽取、Targeling、CTR 规估、Pacing。
相关技术介绍
(一)流式计算 Spark Streaming 应用
主要解决实时报表和部分实时特征的计算问题
1、要求：
必须稳定，7x24小时
可按受秒级延迟
可根招吞吐量横向扩展
存在高要全球聚合的任务
2、方案：
Spark Streaming +Kata + Rds +Redis
原始日志压缩流式回传
中心节点部署，方便开发
3、问题：
稳定性和扩展性都高度依赖高速通道
(二)离线计算 MaxCompute 应用
解决各类数据计算问题，BI数据、广告报表、反作弊、标签抽取、特征数据计算、统一 用户标识、爬虫数据处理等。
从自建 Hadoop 集群，到EMR按量付费集群，再到 MaxCompute.
优势:
再也不用运维集群了
计算速度更快
真正按量付费，成本大幅降低
SQL 开发效事高、调试方便，资料足够
有一个还行的调度系统
直接享受大公司待遇
数据导入导出方案:
优先用数据同步服务，流式数据用 sdk ,实在不行就写脚本+tunnel
(三)特征计算和标签抽取
大部分特征和标签使用 SQL 计算
定义特征，最近-周内活跃天数， 则有0~7的取值定义标签规则，例如:
一周内活跃天、1天、2~3天、 4~5天、 6-7天的分别是不活跃、低活跃、中活跃、高活跃、极高活跃用户。
做好定义，然后就是展现SQL技巧的时候了
多用 with,注意代码风格
优先使用内建函数，无法满足的时候考虑使用 UDF、UDAF. UDTF,还不行或者跑的太慢的时候使用 MapReduce,比如对一大批特征做等频高散化。
向未实现平台化，还需写代码，好像有个服务能实现上面的功能，待试用
(四)Targeting
相对于把特征输入模型而言，标签式 Targeting 主要是
方便人来操作，使用投放人的经验来优化。
Look-alike 方式的定向为寻找相似的人，种于用户为正
例，从所有用户中找到正例概率较大的人群。
(五)Ctr预估
预估转化事，可能是 ctr. CVT 或 ctr'cvr 等
Ecpma ctr* price
Ecpm 为本次广告展现的收益期望值，将指导绝大部分投放相关策略。
Online model
Deep leaming
(六)Pacing
不止考虑单次展现的收益，而要在单次竞价时考虑对
全局收益的影响。
通过对流量分层和分时的统计和预估，用数学方法来
保证收益最大化。
方案来源于 Yahoo
四、遇到的问题
在实践中遇到了一些问题，有一些解决了，有一些还没有全球化部署。
