【玩转数据系列八】机器学习算法的离线调度实现-广告CTR预测-阿里云开发者社区

开发者社区> 傲海> 正文

【玩转数据系列八】机器学习算法的离线调度实现-广告CTR预测

简介: 整套实验使用了阿里云机器学习进行数据挖掘工作,通过大数据开发套件进行调度和推送。具体的业务场景是:通过历史数据在阿里云机器学习平台上面训练模型,通过大数据开发进行调度,每天凌晨对于每天的广告投放CTR预测,甄选出符合标准的广告推送出去。
+关注继续查看

机器学习实验部署和调度

产品地址:https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2

(因为模板功能限制,本实验需要用户自行上传分区表数据。)

(本文数据为虚构,仅供实验。本实验拟在介绍阿里云机器学习与大数据开发调度的配合。)

一、背景

本文实现的场景是广告的CTR预测。广告CTR预测是广告行业的典型应用,通过历史数据训练预测模型,对于每天的增量数据进行预测,找出广告的CTR符合标准的样本进行投放。
整套实验使用了阿里云机器学习进行数据挖掘工作,通过大数据开发套件进行调度和推送。具体的业务场景是:通过历史数据在阿里云机器学习平台上面训练模型,通过大数据开发进行调度,每天凌晨对于每天的广告投放CTR预测,甄选出符合标准的广告推送出去。

二、数据集介绍

具体字段如下:

字段名 含义 类型 描述
id ID string 广告的唯一标识
age 年龄 double 广告投放人群的年龄
sex 性别 double 广告投放人群的性别,1是男,0是女
duration 时长 double 广告在界面的停留时长,以秒为单位
place 位置 double 广告投放位置,0~4,按照投放位置从上到下的顺序排列
ctr 广告CTR double 广告点击量除以展现量,这里面大于0.03是1,其它是0
dt partition string 年月日格式yyyyMMdd

数据截图:

数据是通过random算法随机生成,所以本次实验不针对结果进行评估,主要介绍实验搭建以及和大数据开发套件的调度使用。数据包含20160919、20160920的历史数据,需要针对20160921的数据预测。使用的是MaxCompute的分区表。

三、机器学习平台

实验可以通过实验模板处创建。找到带有【机器学习离线调度实现】字样的实验,从模板创建。

首先,实验流程图:

实验可以大致分为四个模块,数据源导入(ad),数据预处理(归一化),模型训练(逻辑回归二分类),预测(预测)。

数据源导入

中间过程

中间过程包括数据的归一化、模型预测两个步骤。模型训练是通过历史数据训练生成的预测模型。(详细原理可以参考心脏病预测案例)

预测

最终预测生成的结果表为ad_result-1,数据如下:

  • prediction_result包含每个广告id是否被点击,被点击是1,不被点击为0。
  • prediction_score表示对应被点击概率

四、调度模块

进入数加的数据开发应用:

(1)新建工作流任务

  • 在画布中可以拖动机器学习组件和ODPS_SQL组件进行工作流的搭建。
  • 双击"广告预测"组件进入对应的机器学习模块,选择需要调度的机器学习实验:
  • 返回,双击"每日预测值"组件,配置每日需要推送的信息,这里只需要推送预测结果是"被点击的广告",
  • 选择需要调度的时间,这里我选择每日的凌晨0点进行训练和推送信息。
  • 点击“提交”按钮,即可在运维中心查看实验的运行状态。调度从第二天才正式开始,进入运维中心。可以查看实验的日志。

五、其它

作者微信公众号(与作者讨论):

参与讨论:云栖社区公众号

免费体验:阿里云数加机器学习平台

联系我们: aohai.lb@alibaba-inc.com

往期文章:

【玩转数据系列一】人口普查统计案例

【玩转数据系列二】机器学习应用没那么难,这次教你玩心脏病预测

【玩转数据系列三】利用图算法实现金融行业风控

【玩转数据系列四】听说啤酒和尿布很配?本期教你用协同过滤做推荐

【玩转数据系列五】农业贷款发放预测

【玩转数据系列六】文本分析算法实现新闻自动分类

【玩转数据系列七】有娃的注意了,机器学习教您如何提高孩子学习成绩

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
干货|全球调度算法大赛赛题解读
资源管理系统作为将数据中心资源向上抽象的关键一层,需要全面的能力。从保障应用的稳定性、性能(保证SLA,Service Level Agreement)到全面提高数据中心运行的效率,节约能源等等,今天这篇文章,我们重点讲一讲调度算法在资源管理中的作用。
855 0
云原生必备知识:调度算法(Scheduler)
调度器Scheduler是Kubernetes的重要组件之一。其作用是要将待调度的Pod依据某调度策略调度到最适合它运行的节点上运行。这里就涉及到三个对象:待调度的Pod、调度策略、待部署的节点队列。
542 0
任务调度:时间轮算法经典案例解析及应用实现
平时大家的工作中应该会遇到较多需要在某个时间点执行某个任务,比如对运维来说,定时数据库的备份,日志和监控信息的抓取;比如业务系统,某个时间点给某个人群用户发放优惠券,甚至从操作系统角度,人机交互进程、视频播放的实时进程、批处理的后台进程等进程间的调度。。。 所以如何将这些任务高效、精准的调度?是任务调度系统中最重要的命题,当然在业务系统中一个完善的任务调度系统是很复杂的,需要具备能调度、可视化管理、过程可追溯、结果可分析、持久化、高可用等特性,这篇文章主要讨论任务调度逻辑,其余的内容我们后面文章探讨。
123 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
8453 0
全域数据中台如何重塑传统乳企竞争力
数据清晰地勾勒出了中国乳制品行业的现状,规模大、增长停滞。这是一个成熟市场的标志,也是乳制品行业面临的第一个痛点——全行业正在进入“中年瓶颈期”。
528 0
海量数据处理的 Top K算法(问题) 小顶堆实现
  问题描述:有N(N>>10000)个整数,求出其中的前K个最大的数。(称作Top k或者Top 10)   问题分析:由于(1)输入的大量数据;(2)只要前K个,对整个输入数据的保存和排序是相当的不可取的。
856 0
【干货】基础机器学习算法
哲学要回答的基本问题是从哪里来、我是谁、到哪里去,寻找答案的过程或许可以借鉴机器学习的套路:组织数据->挖掘知识->预测未来。组织数据即为设计特征,生成满足特定格式要求的样本,挖掘知识即建模,而预测未来就是对模型的应用。
837 0
网络安全与机器学习(一):网络安全中的机器学习算法
网络安全遇见机器学习,会摩擦出怎样的火花呢?
2991 0
Azkaban 任务调度系统(安装搭建)
无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任务调度系统,那么就随着笔者一同来学习Azkaban的基础搭建场景和基本使用吧.
2202 0
+关注
傲海
著有《机器学习实践应用》,阿里云机器学习PAI产品经理,个人微信公众号“凡人机器学习”。
302
文章
10
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载