本文来源
本博客 是通过学习亚马逊的官方机器学习课程的随笔。
课程参考链接https://edu.csdn.net/course/detail/37264
课程目前更新了3小节,感触是官方的文档还是挺好看的,比较简练,可读性较好,有较好的发挥空间。
机器学习简介
机器学习流程
机器学习的过程包括:
提供数据
对数据进行processing处理建模,建模中要与数据中的结果进行比较,获得较好的模型
建模后进行预测。
机器学习可以完成如下功能:
机器学习可以完成如下功能:
前文说的预测:谁是世界杯冠军这种
优化:
提取隐藏的数据中的模式:从生物医学数据中提取隐藏的模式和证据,否则可以通过人工完成以节省大量时间,包括蛋白质结构堆叠
数据分类:这本书是什么类型的书籍,这份邮件是否为垃圾邮件等
机器学习应用场景
金融领域
金融领域使用机器学习建模最多的场景就是风控。当然风控也要进行细分,主要应用机器学习建模的细分场景如下:
信用卡交易反欺诈:分类任务,GBDT算法+LR逻辑回归;
信用卡申请反欺诈:分类任务,GBDT算法+LR逻辑回归;
贷款申请反欺诈:分类任务,GBDT算法+LR逻辑回归;
反洗钱:分类任务,GBDT算法+LR逻辑回归;
目前看起来GBDT+LR是金融风控领域的常用算法。
零售领域
在零售领域,使用机器学习建模最多的场景也是推荐场景和搜索场景中的排序。APP上购物车页面提交订单时为用户推荐相似商品、推荐可能感兴趣的商品,以及针对什么样的用户推荐什么样的优惠券等等。
推荐:协同过滤CF算法、FM算法+LR排序模型、深度学习模型目前在推荐领域使用也十分广泛了。
除去推荐,零售领域还有一个使用机器学习建模比较多的场景,就是对某类商品进行销量预测,根据预测量来调整商品的供给。
销量预测:目前基本都转用LightGBM算法了;
这里附上之前Kaggle里面关于销量预测的case,排名第一的将自己的源码share出来的,感兴趣的可以自行下载研究。https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582
零售领域还有一个应用非常多的场景,就是做供应链优化,物流调度,给外卖骑手配单等。但这部分不能算作机器学习,更多是运筹学的知识。目前国内做的比较好的是杉数科技。
供应链优化:运筹学的知识
机器学习分类
可以根据是否含有标签,把机器学习分为有监督和无监督问题,外加现在强化学习。
机器学习实现
基于python等代码自己实现
#Import Library #Import other necessary libraries like pandas, numpy... from sklearn import linear_model #Load Train and Test datasets #Identify feature and response variable(s) and values must be numeric and numpy arrays x_train=input_variables_values_training_datasets y_train=target_variables_values_training_datasets x_test=input_variables_values_test_datasets # Create linear regression object linear = linear_model.LinearRegression() # Train the model using the training sets and check score linear.fit(x_train, y_train) linear.score(x_train, y_train) #Equation coefficient and Intercept print('Coefficient: \n', linear.coef_) print('Intercept: \n', linear.intercept_) #Predict Output predicted= linear.predict(x_test)
基于亚马逊的AWS EMR 实现