开发者学堂课程【机器学习概览及常见算法：其他学习算法】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/529/detail/7125?spm=a2c6h.21258778.0.0.28017ecfLiHgBb
其他学习算法
内容简介：
1 半监督学习
2 集成学习
3 Bagging
4 Boosting
5 AdaBoost
6 随机森林: RandomForest
7 深度学习
8 增强学习: Reinforcement Learning
9 迁移学习: Transfer Learning
1 半监督学习
半监督学习:训练数据有部分被标识,部分没有被标识,这种模型首先需要学习数据的内在结构，以便合理的组织数据来进行预测。旨在避免数据和资源的浪费，解决监督学习模型泛化能力不强、无监督学习的模型不精确等问题。
常见学习方法:
■半监督分类 : 在无类标签的样例的帮助下训练有类标签的样
本,弥补有类标签的样本不足的缺陷
■半监督回归 :在无输出的输入的帮助下训练有输出的输入,
获得性能更好的回归器
■半监督聚类 : 在有类标签的样本的信息帮助下获得比只用无
类标签的样例得到的结果更好的簇
■半监督降维 :在有类标签的样本的信息帮助下找到高维输入
数据的低维结构,同时保持原始高维数据和成对约束的结构不
变
2 集成学习
集成学习: 针对同一数据集,训练多种学习器,来解决同一问题
■Bagging :
V有放回抽样构建多个子集
V训练多个分类器
V最终结果由各分类器结果投票得出
V实现非常简单
■Boosting
V重复使用一类学习器来修改训练集
v每次训练后根据结果调整样本的权重
V每个学习器加权后的线性组合即为最终结果
■Stacking
V由两级组成，第- -级为初级学习器，第级为高级学习器
V第一级学习器的输出作为第二级学习器的输入
3 Bagging
4 Boosting
5 AdaBoost
6 随机森林: RandomForest
随机森林( RandomForest )
■由许多决策树组成,树生成时采用了随机的方
法
. Smart Bagging
■生成步骤
V随机采样,生成多个样本集
V对每个样本集构建决策树
■优点:
V可以处理多分类
V不会过拟合
V容易实现并行
V对数据集容错能力强
7 深度学习
深度学习:深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
属于机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
常见深度学习算法:
■受限波尔兹曼机 Restricted Boltzmann Machine ( RBM )
■深度信念网络 Deep Belief Networks ( DBN )
■卷积网络 Convolutional Network
■栈式自编码 Stacked Auto- encoders
8 增强学习: Reinforcement Learning
增强学习要解决的问题是:一个能感知环境的自治agent，通过学习, 选择能达到其目标的最优动作。
本质就是解决"决策(decision making)"问题,即学会自动进行决策比如控制移动器人、在工厂中学习最优操作工序、学习棋类对弈等。
常见增强学习算法:
Q-Learning
时间差学习Temporal difference learning
9 迁移学习: Transfer Learning
迁移学习是要把已学训练好的模型参数迁移到新的模型来帮助新模型训练数据集。初衷是节省人工标注
样本的时间,让模型可以通过已有的标记数据向未标记数据迁移。换言之,就是运用已有的知识来学习
新的知识,核心是找到已有知识和新知识之间的相似性。
