开发者学堂课程【Tensorflow2.0入门与实战：多层感知器（神经网络）与激活函数】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/664/detail/11101
多层感知器（神经网络）与激活函数
基本介绍
一.多层感知器
二.激活函数
一.多层感知器
1.单个神经元（二分类）
有x1、x2、x3、w1、w2、w3三个特征加一个偏置然后得到一个值输出
2.多个神经元（多分类）
x1、x2、x3乘以偏置加权重得到输出一，输出二，输出三。中间只有一层，叫做浅层学习。
单层神经元的缺陷：无法拟合“异或”运算
异或问题看似简单，使用单层的神经元确实没有办法解决。
神经元要求数据必须是线性可分的
异或问题无法找到一条直线分割两个类
这个问题使神经网络的发展停滞了很多年
3.神经元的启发
大脑中的神经元是一个连一个的，互相连接网络很深。当一个信号达到一定的强度，神经元被激活将信号向下传递。达到的强度不够，神经元不会向下传递。
神经元的特点：互相连接，网络很深；当信号达到一定强度会传递信号。
4.多层感知器
生物的神经元一层一层连接起来，当神经信号达到某一个条件，这个神经元就会激活，然后继续传递信息下去。
为了继续使用神经网络解决这种不具备线性可分性的问题，采取在神经网络的输入端和输出端之间插入更多的神经元。
在x1、x2两个输入之间添加权重添加偏置连接到隐含层，通过隐含层连接输出层在输出，这种网络叫做多层感知器。
二. 激活函数
1.relu
激活会对网络带来非线性使得网络可以拟合非线性的问题。
绝大多数激活函数用 relu 激活，如果信号为x，当x<0时将信号屏蔽输出为0，当x>0时原样输出。
2.sigmoid
当输入x带入公式计算，y值的输出范围为-1到1。
当x靠近0时变化很大，x远大于0或远小于0时变化较小，
传递的梯度很小。
3.tanh
y值从-1到+1
4.Leak relu
Leak 在负值中会传递一些，relu会直接屏蔽掉数值。
