新手入门赛-阿里移动推荐算法(上) |学习笔记

简介: 快速学习新手入门赛-阿里移动推荐算法(上)

开发者学堂课程【天池大赛算法教程及获奖选手答辩 新手入门赛-阿里移动推荐算法(上)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/389/detail/4999


新手入门赛-阿里移动推荐算法(上)

 

内容介绍:

一、赛题是做什么的

二、如何评价赛题做的好坏

三、如何做赛题

四、怎样能把赛题做的更好

 

一、赛题是做什么的

一句话描述:根据用户在手淘上的历史行为记录,预测用户们第二天买什么
1历史行为记录

(2)预测的是什么

历史记录:

例:谁在什么时间对什么商品进行什么操作预测:在第32天中,谁买了什么
数据相貌:

records:12312542user_id:10000

item_id:2914411

user_itempairs:4719002and purchased pairs: 103464,CTR is 0.02192497

min time 2014-11-18 00 max time 2014-12-18 23

image.png

 

二、如何评价赛题做的好坏

既然要预测如何评价一个东西?只看哪一个预测的多那么把所有的可能性都提交了,就有可能得满分?如果只评价哪一个预测的准?

只要找到一条预测对的,就也可以得满分。因此两种评价必然是不合理的,由此可知评价指标是希望所提交的问题预测当中做到又多又准。

如果比预测的多:那么提交所有种可能,必得满分
如果比预测的准:只预测一条对的,必得满分
因此评价指标必须要兼顾到“多”和“准”
Example:
假设第31天(12月19号)发生了20000次交易,预测了10000条,预测对了1000条
准确率为: 1000/10000=0.1
召回率为: 1000/20000=0.05
F1=2*0.1*0.05/(0.1+0.05)

 

三、如何做赛题

首先从业务常识去判断,什么样的 user_item pair,可能在下一天中发生“购买”:
用户i不停的去看商品j,预测: USERi-ITEMj
用户i将商品j放入购物车,预测: USERi-ITEMj
用户i非常喜欢买东西,预测和 USERi 相关的所有 PAIR 商品这几天卖得很好,预测和 ITEMj 相关的所有 PAIR

其次将业务逻辑转化为规则
规则:找到一个条件概率函数,将其最高的那段取出来

需要运用条件概率、贝叶斯定理、分类器模型
一个有意思的贝叶斯定理

http://mindhacks .cn/2008/09/21/the-magical-bayesian-method/

一个简单的分类器 Naive Bayesian Model

http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971903.html

条件概率函数:基于最大似然的估计

 image.png

通过 Nshifts 获得更多的样本以增加最大似然估计的准确120shifts 获得遗忘曲线(条件概率函数)

 image.png

横轴为时间(小时)纵轴为概率并取最高的几点作为预测值

 

四、怎样能把赛题做的更好

如何将多个规则结合在一起:
1.按照每一个规则是否达标进行打分,打分最高的当作预测
2.自动的确定分数: Logistics Regression
3.诸多规则和目标之间的关系是非线性的More MachineLearning Algorithm


相关文章
|
13天前
|
机器学习/深度学习 人工智能 算法
深度学习入门:理解神经网络与反向传播算法
【9月更文挑战第20天】本文将深入浅出地介绍深度学习中的基石—神经网络,以及背后的魔法—反向传播算法。我们将通过直观的例子和简单的数学公式,带你领略这一技术的魅力。无论你是编程新手,还是有一定基础的开发者,这篇文章都将为你打开深度学习的大门,让你对神经网络的工作原理有一个清晰的认识。
|
2月前
|
机器学习/深度学习 人工智能 算法
AI入门必读:Java实现常见AI算法及实际应用,有两下子!
本文全面介绍了人工智能(AI)的基础知识、操作教程、算法实现及其在实际项目中的应用。首先,从AI的概念出发,解释了AI如何使机器具备学习、思考、决策和交流的能力,并列举了日常生活中的常见应用场景,如手机助手、推荐系统、自动驾驶等。接着,详细介绍了AI在提高效率、增强用户体验、促进技术创新和解决复杂问题等方面的显著作用,同时展望了AI的未来发展趋势,包括自我学习能力的提升、人机协作的增强、伦理法规的完善以及行业垂直化应用的拓展等...
159 3
AI入门必读:Java实现常见AI算法及实际应用,有两下子!
|
3月前
|
机器学习/深度学习 数据采集 人工智能
机器学习算法入门与实践
【7月更文挑战第22天】机器学习算法入门与实践是一个既充满挑战又极具吸引力的过程。通过掌握基础知识、理解常见算法、注重数据预处理和模型选择、持续学习新技术和参与实践项目,你可以逐步提高自己的机器学习技能,并在实际应用中取得优异的成绩。记住,机器学习是一个不断迭代和改进的过程,保持好奇心和耐心,你将在这个领域走得更远。
|
3月前
|
消息中间件 存储 算法
实战算法的基础入门(2)
实战算法的基础入门
|
3月前
|
算法 大数据
实战算法的基础入门(1)
实战算法的基础入门
|
3月前
|
算法 Java
实战算法的基础入门(3)
实战算法的基础入门
|
2月前
|
存储 算法
【C算法】编程初学者入门训练140道(1~20)
【C算法】编程初学者入门训练140道(1~20)
|
4月前
|
算法 程序员
高阶算法班从入门到精通之路
高阶算法班从入门到精通之路
31 3
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习算法入门:从K-means到神经网络
【6月更文挑战第26天】机器学习入门:从K-means到神经网络。文章涵盖了K-means聚类、逻辑回归、决策树和神经网络的基础原理及应用场景。K-means用于数据分组,逻辑回归适用于二分类,决策树通过特征划分做决策,神经网络则在复杂任务如图像和语言处理中大显身手。是初学者的算法导览。
|
4月前
|
自然语言处理 算法
ransformers从入门到精通:常用的subword tokenizer算法
- WordPiece、BPE/BBPE最小字词进行合并最终字词,BPE/BBPE直接采用词频判断合并规则而WordPiece采用最大似然的方式 - unigram采用从最大的字词集合里移除那些对语料库整体概率贡献最小的子词【6月更文挑战第7天】
85 3
下一篇
无影云桌面