深度学习基础知识扫盲（2）： https://developer.aliyun.com/article/1390827?spm=a2c6h.13148508.setting.23.23294f0eE2pG4w
信息增益（Information Gain）
P96
熵的减少/减少杂质/增大纯度称为信息增益。
在构建决策树中，如何选择特征先后？如何停止构建树？
根据信息增益的大小，信息增益越大，越先选择这个特征，当信息增益特别小时，就不在构建树。
下图是分类问题构建决策树，优先构建0.28
下图是决策树对回归问题的泛化：
one-hot enconding
适用于决策树的一种编码方式 。通过将特征设置为0、1，来构建决策数。
置换抽样（Sampling with replacement）
有放回的随机抽样。
随机森林算法（random forest algorithm）
假如有n个特征，随机选取k = 根号n个特征，根据k个特征，构建决策树模型，这样构建出多个决策树模型，叫做随机森林。
clustering(聚类)
聚类属于无监督算法，目的是在无规则的数据中，找出隐藏的联系，然后将数据分类，但是我们并不知道分类的结果对不对。
K-means algorithm（K-均值算法）
聚类的典型算法之一，算法的主要思想：
1.随机选取k个点，作为k个聚簇的质心，分别计算每个数据到该质心的距离
2.重新把数据分配到距离他们最近的质心，根据重新的分组，计算每个聚簇的新质心。
3.重复上面两步骤。
K-means 的成本函数，又叫失真函数。
Elbow method：选择合适的集群的一种方法
Anomaly Detection algorithm(异常检测)
通过数据集把正常的数据，控制在一个范围，超过这个范围的数据，就有可能产生问题，我们就需要注意一下，对该数据进行更加细致的检测。
如下图，绿色数据，就是异常的数据，需要对它特殊检测。
使用Gussian分布来构建异常检测系统：
如何对异常检测算法进行评估：
recommend system
推荐系统：类似于购物网站、电影网站的推荐界面。
如何使用推荐系统预测参数呢？
推荐系统的单用户cost function：
推荐系统的所有用户之和的cost function：
Collaborative filtering（协同过滤算法）
从多个用户来收集数据，用户之间的这种协作可以帮助您预测未来甚至其他用户的评分
用已知的数据，对推荐系统的w,b,x一起学习。
以下为成本函数：
此时梯度下降：x也是一个参数
将回归问题推广到二进制标签的分类问题。
Mean Normalization （均值归一化）
Content-based filtering(基于内容的过滤算法)VS协同过滤算法
Principal Components Analysis（PCA）（主成成分分析）
当特征太多时，几十、上百、上千个特征时，我们可以利用PCA来减少特征至2-3个，从而可以绘图分析数据。
强化学习（Reinforcement Learning ）
强化学习通过类似于奖励机制的算法，走对了加分，走错了减分，来让机器自动学习一套比较完美的行为。
回报（Return）
获得奖励的效率。获得奖励越早，回报越高。
折扣因子
获得奖励越晚，折扣因子的作用越明显。
Policy（控制器/决策）
用来决定做什么决策的算法。
Markov Decision Process（MDP）
对未来的决策只取决于当前状态而不取决于当前状态之前的任何环境；只关注你现在的状态，而不关注你是如何到达这里的。
QSA（action-value function）
用来描述当前动作价值的函数。
Bellman Equation（贝尔曼方程）
增加了控制概率（失步概率）的贝尔曼模型：
