编辑
目录
二、没有免费午餐定理（No Free Lunch Theorem）：
一、机器学习概述：
1.机器学习定义：
Machin Learning（机器学习）
编辑
- 显著式编程：计算机完成既定的任务
- 非显著式编程：让计算机自己总结规律的编程方法
编辑
编辑
机器学习是一门能够让编程计算机从数据中学习的计算机科学。
2.机器学习分类：
- 监督学习（Traditional Supervised Learning）：
每一个训练的数据都有标签，用已知输出评估模型的性能。
分类（Classification）：标签是离散型数据；回归（Regression）：标签是连续型数据
支持向量机（Support Vector Machin）；人工神经网络（Neural Networks）；深度神经网络（Deep Neural Network）
- 无监督学习（Unsupervised Learning）：
每一个训练数据都没有标签，在没有已知输出的情况下，仅仅根据输入信息的相关性，进行类别的划分。
- 半监督学习（Semi-supervised Learning）：
先通过无监督学习划分类别，再根据人工标记通过有监督学习预测输出。
编辑
- 强化学习（Reinforcement Learning）：
计算机通过与环境的互动逐渐强化自己的行为模式。
通过对不同决策结果的奖励和惩罚，使机器学习系统在经过足够长时间的训练以后，越来越倾向于给出接近期望结果的输出。
- 批量学习：
将学习的过程和应用的过程截然分开，用全部的训练数据训练模型，然后再将应用场景中实现预测，当预测结果不够理想时，重新回到学习过程，如此循环。
- 增量学习：
将学习的过程和应用的过程统一起来，在应用的同时以增量的方式，不断学习新的内容，边训练边预测。
3.机器学习流程：
- 特征提取（Feature Extraction）：通过训练样本获取得到对机器学习任务有帮助的多维度数据。
- 特征选择（Feature Selection）
- 特征空间（Feature Space）
二、没有免费午餐定理（No Free Lunch Theorem）：
任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。
如果不对特征空间的先验分布有假设，那么所有的算法表现都是一样的！
编辑
在设计机器学习算法时假设：在特征空间上距离接近的样本，他们属于同一个类别的概率会更高！
