监督学习
定义：监督学习(Supervised Learning)是一种利用已知类别的样本调整分类器的参数，从而达到所需性能的的学习方式，这种方式既有数据也有标签，；
分类
回归分析(Regression Analysis)：其数据集是给定一个函数和它的一些坐标点，然后通过回归分析的算法，从而估计原函数的模型，最后求出一个最符合这些已知数据集的函数解析式。然后我们根据这个解析式就能够预估其他未知输出的数据，当我们输入一个自变量时，它就会根据这个模型解析式输出一个因变量。输入的自变量就是特征向量，输出的因变量就是标签，而且标签的值是建立在连续范围内的；
分类(Classification)：其数据集由特征向量和对应的标签组成，当学习了数据集之后，给定一个只知道特征向量而不知道标签的数据，然后求出其标签，它和回归的最大区别就是看输出结果是离散还是连续的；
常用算法
决策树
分类回归树
朴素贝叶斯
线性判别分析
K最邻近
逻辑斯谛回归(二值分类)
径向基函数网络
对偶传播网络
学习向量量化网络
误差反向传播网络
支持向量机(二值分类)
单层感知器
双隐藏层感知器
非监督学习
定义：主要目标是预训练一个模型(也称为识别或编码)网络，然后供其他任务使用。这是一种不受监督而自由的学习方式，不需要先验知识进行指导，而是通过不断地自我认知，自我巩固，最后进行自我归纳，这是一种不为训练集提供对应的识别标识的学习方式，数据集形式：(x^{(1)}), (x^{(2)}), (x^{(3)})，这种方式只有数据，没有标签；
常用算法
KMeans
CHAMELONE
BIRCH
DBScan
EM算法(高斯混合模型)
谱聚类
自组织映射网络
半监督学习
定义：这是一种兼具了监督学习和非监督学习的特点的学习方式，它能够同时利用标记样本和未标记样本，从而减少计算机的计算代价。这种方式中部分输入数据被标识，部分未标识，这种学习模型可以用于进行预测，但模型需要提前学习数据的内在结构，以便能够合理的组织数据从而进行预测；
常用算法
自训练算法(Self-training)
基于图的半监督算法(Graph-based Semi-supervised Learning)
半监督支持向量机(Semi-supervised supported vector machine, S3VM)
强化学习
定义：这是一种让计算机从一开始什么都不懂，通过不断学习尝试，从错误中学习，直到最后找到规律，从而学会达到目的方法。强调的是如何基于环境而行动，以获取最大化的预期利益；
常用算法
Q Learning
Sarsa
Policy Gradients
DDPG(Deep Deterministic Policy Gradient)
A3C(Asynchronous Advantage Actor-Critic)
DQN(Deep Q Network)
