👏 Hi! 我是 Yumuing，一个技术的敲钟人
👨💻 每天分享技术文章，永远做技术的朝拜者
📚 欢迎关注我的博客：Yumuing's blog
机器学习按照输出空间划分的话，包括二元分类、多元分类、回归、结构化学习等不同的类型。其中二元分类和回归是最基础、最核心的两个类型。
注：学习自林轩田机器学习基石国语国语
1.1.1 问题类型划分（输出空间）
如果设定问题场景为考试环境下，二元分类问题就类似与判断题，而多类别（后称多元问题）分类问题就像是选择题，需要在多个选项中做出正确的答案。
在癌症病症的诊断中，可以进行预测癌症的类型或者没有癌症，在邮件的拦截中，不仅仅针对垃圾邮件的识别，还能针对邮件的类型进行划分，如社交领域、学术领域等等，而在统计学中，如果输出数为一个实数或者说一定范围内的实数的话，它就属于一种回归分析的类型。
如果说，想要去对于自然语言，即语言文本进行处理的话，当然，如果只是单词，就简单了，但现实是，基本是在在一个完整的语境下（句子）进行判断，而每个词的词性就存在多样的变化，这时候，我们该如何去识别呢？其实，这很复杂，但都离不开一个算法，结构化学习方法（自然语言下就是语法结构的学习）。
总的来说，机器学习按照输出空间划分的话，包括二元分类、多元分类、回归、结构化学习等不同的类型。其中二元分类和回归是最基础、最核心的两个类型。
1.1.2 数据标签划分
如果我们采用的训练数据是一个原始数据以及它的正确分析（在这里，就是分类）结果的话，就是一种监督式的机器学习方法。如果只是原始数据的话，那就是一种无监督式学习，但机器学习只能划分出类别数据以及影响划分类别的重要因素，而不知道类别具体的含义，并且，无监督式学习对比监督式学习，前者可能存在划分类别数目上的困难，甚至是错误。监督式学习更符合严格分类的要求，而无监督式学习更像去发现数据的特征进行分群，典型的非监督式学习包括：聚类（clustering）问题，比如对网页上新闻的自动分类；密度估计，比如交通路况分析；异常检测，比如用户网络流量监测。通常情况下，非监督式学习更复杂一些。
介于监督式和非监督式学习之间的叫做半监督式学习（Semisupervised Learning）。顾名思义，半监督式学习就是说一部分数据有输出标签yn，而另一部分数据没有输出标签yn。在实际应用中，半监督式学习有时候是必须的，比如医药公司对某些药物进行检测，考虑到成本和实验人群限制等问题，只有一部分数据有输出标签yn。
监督式、非监督式、半监督式学习是机器学习领域三个主要类型。除此之外，还有一种非常重要的类型：增强学习。增强学习中，我们给模型或系统一些输入，但是给不了我们希望的真实的输出y，根据模型的输出反馈，如果反馈结果良好，更接近真实输出，就给其正向激励，如果反馈结果不好，偏离真实输出，就给其反向激励。不断通过“反馈修正”这种形式，一步一步让模型学习的更好，这就是增强学习的核心所在。
增强学习可以类比成训练宠物的过程，比如我们要训练狗狗坐下，但是狗狗无法直接听懂我们的指令“sit down”。在训练过程中，我们给狗狗示意，如果它表现得好，我们就给他奖励，如果它做跟sit down完全无关的动作，我们就给它小小的惩罚。这样不断修正狗狗的动作，最终能让它按照我们的指令来行动。
实际生活中，增强学习的例子也很多，比如根据用户点击、选择而不断改进的广告系统。
简单总结一下，机器学习按照数据输出标签yn划分的话，包括监督式学习、非监督式学习、半监督式学习和增强学习等。其中，监督式学习应用最为广泛。
1.1.3 协议划分
按照不同的协议，机器学习可以分为三种类型：
Batch Learning
Online
Active Learning
batch learning 是一种常见的类型。batch learning获得的训练数据D是一批的，即一次性拿到整个D，对其进行学习建模，得到我们最终的机器学习模型。batch learning在实际应用中最为广泛。
online 是一种在线学习模型，数据是实时更新的，根据数据一个个进来，同步更新我们的算法。比如在线邮件过滤系统，根据一封一封邮件的内容，根据当前算法判断是否为垃圾邮件，再根据用户反馈，及时更新当前算法。这是一个动态的过程。之前我们介绍的PLA和增强学习都可以使用online模型。
active learning 是近些年来新出现的一种机器学习类型，即让机器具备主动问问题的能力，例如手写数字识别，机器自己生成一个数字或者对它不确定的手写字主动提问。
active learning 优势之一是在获取样本label比较困难的时候，可以节约时间和成本，只对一些重要的label提出需求。
简单总结一下，按照不同的协议，机器学习可以分为batch, online, active。这三种学习类型分别可以类比为：填鸭式，老师教学以及主动问问题。
1.1.4 输入数据划分
根据输入X类型不同，可以分为 concetet, raw，abstract。即具体特征、简单特征转换、抽象特征转换。
输入X的第一种类型就是 concrete features。比如说硬币分类问题中硬币的尺寸、重量等；比如疾病诊断中的病人信息等具体特征。concrete features 对机器学习来说最容易理解和使用。
第二种类型是raw features。比如说手写数字识别中每个数字所在图片的mxn维像素值；比如语音信号的频谱等。raw features一般比较抽象，经常需要人或者机器来转换为其对应的 concrete features，这个转换的过程就是 Feature Transform。
第三种类型是abstract features。比如某购物网站做购买预测时，提供给参赛者的是抽象加密过的资料编号或者 ID，这些特征 X 完全是抽象的，没有实际的物理含义。所以，对于机器学习来说是比较困难的，需要对特征进行更多的转换和提取。
