监督学习（Supervised learning）
计算机通过示例进行学习，它从过去的数据进行学习，并将学习结果应用到当前数据中，以预测未来事件，在这种情况下，输入和期望的输出数据都有助于预测未来事件。
监督学习分类
回归(regressing)模型
通过一系列的训练集，训练出回归算法，来预测新的数据。常见的回归算法有线性回归、逻辑回归、多项式回归和脊回归。
分类(classification)模型
分类模型可以对输出的变量进行分类，例如：“是“”否“，用于预测数据的类别。比如垃圾邮件检测、情绪分析。
在现实生活中的一些应用有：
- 垃圾邮件检测
- 天气预报
- 根据当前市场价格预测房价
- 股票价格预测等
- 人脸识别
- 签名识别
- 客户发现
无监督学习（Non-supervised learning）
它的本质上是一种统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。主要具备三个特点：1.没有明确的目的。2.不需要给数据打标签。3.无法量化效果。
无监督学习的算法
- 聚类
简单说就是一种自动分类的方法，在监督学习中，你很清楚每一个分类是什么，但是聚类则不是，你并不清楚聚类后的几个分类每个代表什么意思
- 降维
降维看上去很像压缩。这是为了在尽可能保存相关的结构的同时降低数据的复杂度。
无监督学习使用场景
- 发现异常
有很多违法的行为都需要”洗钱“，这些洗钱行为跟普通用户的行为是不一样的，到底哪里不一样？
如果通过人为去分析是一件成本很高很复杂的事情，我们可以通过这些行为特征对用户进行分类，这样容易能找到行为异常的用户，然后再深入分析他们的行为到底哪里不一样，是否属于违法洗钱的范畴。
通过无监督学习，我们可以快速把行为进行分类，虽然我们不知道这些分类意味着什么，但是通过这种分类，可以快速排出正常的用户，更有针对性的对异常行为进行深入分析。
- 用户细分
这对于广告平台很有意义，我们不仅按照用户的性别、年龄、地理位置等维度对用户进行细分，还可以通过用户的行为对用户进行分类。以便为用户推荐个性化内容。
- 推荐系统
淘宝天猫推荐系统，根据用户的购买行为和浏览行为推荐一些相关产品，有些商品是通过无监督学习的聚类推荐出来的。
术语
特征值
每个数据都有自己的属性，这个独特的属性就是特征值。
特征向量
多个特征值所组成的向量。
特征工程（Feature engineering）
通过变换或者组合原特征值，使用直觉去设计新的特征值的工程。
根据长和宽，来设计area面积。
特征缩放
因为某些属性的数值过大或过小，影响梯度计算，因此要通过放大或所想来修改特征值到合适的位置。
Sigmod function
通过该函数，可以控制输出值在0~1之间
决策边界
决策边界有线性的也有非线性的，可有sigmod function函数得来。
激活函数
过拟合/欠拟合
过拟合是训练集训练出来的模型，过于贴合实际数据，导致估计值不准确。
如何解决过拟合的问题呢？
- 有更多训练集
过多特征但训练集少（删除相应特征，缩小大特征的影响）
正则化（惩罚所有w值，保证值没有太大偏差）
逻辑回归算法
- 逻辑回归函数
- 逻辑回归的成本函数（使用交叉熵来写），aj越接近1，说明估计成本越小。
- 左边是简单的二元分类函数；右边是Siftmax函数，解决多分类的回归问题。
多类(mutil-classes)分类与多标签（multi-lable）分类
mutil-classes classifition 类似于识别一个数字是几，只能是0~9中的一个数字，输出结果是一个数字。
而multi-lable classifition 是一个识别多种标签的问题，输出是一个向量。
卷积层（Convolutional Layer）
每个神经元只查看输入图像区域的层级，称为卷积层。
卷积神经网络：
前向传播算法(forward propagation)
通过输入值，假设w和b，一步一步往后计算。
反向传播算法（back propagation）
根据前向传播算法的值，从后往前求偏导
计算图（computation graph）
描述计算过程的图像
深度学习基础知识扫盲(2）https://developer.aliyun.com/article/1390827?spm=a2c6h.13148508.setting.23.dd0d4f0eYkzL3Z
