机器学习课程学习随笔

简介: 机器学习课程学习随笔

本文来源

本博客 是通过学习亚马逊的官方机器学习课程的随笔。

课程参考链接https://edu.csdn.net/course/detail/37264

课程目前更新了3小节,感触是官方的文档还是挺好看的,比较简练,可读性较好,有较好的发挥空间。

20169f786c7420b0354925029cf3105d_9286d803b90843938d22e9687ff2f378.png


机器学习简介


机器学习流程

机器学习的过程包括:


提供数据

对数据进行processing处理建模,建模中要与数据中的结果进行比较,获得较好的模型

建模后进行预测。

9d55ba61409034da815a5f124c0f8a34_fbf4ade0cc9242f5a079208cef01f6a1.png


机器学习可以完成如下功能:

机器学习可以完成如下功能:


前文说的预测:谁是世界杯冠军这种

优化:

提取隐藏的数据中的模式:从生物医学数据中提取隐藏的模式和证据,否则可以通过人工完成以节省大量时间,包括蛋白质结构堆叠

数据分类:这本书是什么类型的书籍,这份邮件是否为垃圾邮件等

ffccb82644b2cef8f5653286e10f2a87_e0d66376b99f4fb8a2d1063fa74b87f2.png


机器学习应用场景

参考:浅析机器学习算法的应用场景!


金融领域

金融领域使用机器学习建模最多的场景就是风控。当然风控也要进行细分,主要应用机器学习建模的细分场景如下:

信用卡交易反欺诈:分类任务,GBDT算法+LR逻辑回归;

信用卡申请反欺诈:分类任务,GBDT算法+LR逻辑回归;

贷款申请反欺诈:分类任务,GBDT算法+LR逻辑回归;

反洗钱:分类任务,GBDT算法+LR逻辑回归;


目前看起来GBDT+LR是金融风控领域的常用算法。


零售领域

在零售领域,使用机器学习建模最多的场景也是推荐场景和搜索场景中的排序。APP上购物车页面提交订单时为用户推荐相似商品、推荐可能感兴趣的商品,以及针对什么样的用户推荐什么样的优惠券等等。

推荐:协同过滤CF算法、FM算法+LR排序模型、深度学习模型目前在推荐领域使用也十分广泛了。

除去推荐,零售领域还有一个使用机器学习建模比较多的场景,就是对某类商品进行销量预测,根据预测量来调整商品的供给。

销量预测:目前基本都转用LightGBM算法了;


这里附上之前Kaggle里面关于销量预测的case,排名第一的将自己的源码share出来的,感兴趣的可以自行下载研究。https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582


零售领域还有一个应用非常多的场景,就是做供应链优化,物流调度,给外卖骑手配单等。但这部分不能算作机器学习,更多是运筹学的知识。目前国内做的比较好的是杉数科技。

供应链优化:运筹学的知识


机器学习分类

可以根据是否含有标签,把机器学习分为有监督和无监督问题,外加现在强化学习。

84440b5497c91213cb6eb7423a95b3e0_fe72a98193034c2ea60a0b80b90e0ff9.png


机器学习实现

基于python等代码自己实现

#Import Library
#Import other necessary libraries like pandas, numpy...
from sklearn import linear_model
#Load Train and Test datasets
#Identify feature and response variable(s) and values must be numeric and numpy arrays
x_train=input_variables_values_training_datasets
y_train=target_variables_values_training_datasets
x_test=input_variables_values_test_datasets
# Create linear regression object
linear = linear_model.LinearRegression()
# Train the model using the training sets and check score
linear.fit(x_train, y_train)
linear.score(x_train, y_train)
#Equation coefficient and Intercept
print('Coefficient: \n', linear.coef_)
print('Intercept: \n', linear.intercept_)
#Predict Output
predicted= linear.predict(x_test)

基于百度华为的服务实现

基于亚马逊的AWS EMR 实现

相关文章
|
3天前
|
机器学习/深度学习 算法 前端开发
集成学习(Ensemble Learning)是一种机器学习技术,它通过将多个学习器(或称为“基学习器”、“弱学习器”)的预测结果结合起来,以提高整体预测性能。
集成学习(Ensemble Learning)是一种机器学习技术,它通过将多个学习器(或称为“基学习器”、“弱学习器”)的预测结果结合起来,以提高整体预测性能。
7 1
|
25天前
|
机器学习/深度学习 算法 前端开发
机器学习中的集成学习(二)
**集成学习概述** 集成学习通过结合多个弱学习器创建强学习器,如Bagging(Bootstrap Aggregating)和Boosting。Bagging通过随机采样产生训练集,训练多个弱模型,然后平均(回归)或投票(分类)得出结果,减少方差和过拟合。Boosting则是迭代过程,每个弱学习器专注于难分类样本,逐步调整样本权重,形成加权平均的强学习器。典型算法有AdaBoost、GBDT、XGBoost等。两者区别在于,Bagging模型并行训练且独立,而Boosting模型间有依赖,重视错误分类。
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习中的集成学习(一)
集成学习是一种将多个弱学习器组合成强学习器的方法,通过投票法、平均法或加权平均等策略减少错误率。它分为弱分类器集成、模型融合和混合专家模型三个研究领域。简单集成技术包括投票法(用于分类,少数服从多数)、平均法(回归问题,预测值取平均)和加权平均法(调整模型权重以优化结果)。在实际应用中,集成学习如Bagging和Boosting是与深度学习并驾齐驱的重要算法,常用于数据竞赛和工业标准。
|
3天前
|
机器学习/深度学习 算法 Python
强化学习(Reinforcement Learning, RL)** 是一种机器学习技术,其中智能体(Agent)通过与环境(Environment)交互来学习如何执行决策以最大化累积奖励。
强化学习(Reinforcement Learning, RL)** 是一种机器学习技术,其中智能体(Agent)通过与环境(Environment)交互来学习如何执行决策以最大化累积奖励。
9 0
|
27天前
|
机器学习/深度学习 算法 Python
【机器学习】集成学习在信用评分领域实例
【机器学习】集成学习在信用评分领域实例
45 1
|
21天前
|
人工智能 自然语言处理 机器人
大模型训练的艺术:从预训练到增强学习的四阶段之旅
大模型训练的艺术:从预训练到增强学习的四阶段之旅
|
27天前
|
机器学习/深度学习 算法 搜索推荐
【机器学习】Apriori算法在关联规则学习中的应用
【机器学习】Apriori算法在关联规则学习中的应用
49 0
|
27天前
|
机器学习/深度学习 人工智能 监控
【机器学习】大模型驱动少样本学习在图像识别中的应用
【机器学习】大模型驱动少样本学习在图像识别中的应用
33 0
|
27天前
|
机器学习/深度学习 算法 数据挖掘
【机器学习】Voting集成学习算法:分类任务中的新利器
【机器学习】Voting集成学习算法:分类任务中的新利器
24 0
|
27天前
|
机器学习/深度学习 算法 大数据
【机器学习】集成学习:强化机器学习模型与创新能的利器
【机器学习】集成学习:强化机器学习模型与创新能的利器
14 0