⑴ 激活函数思考
激活函数 ： 神经网络神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。
1. 为什么要用激活函数？
神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。 假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。 加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。
激活函数通常有如下一些性质：
（1）非线性： 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 当激活函数是非线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的。
（2）可微性： 当优化方法是基于梯度的时候，这个性质是必须的。
（3）单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 当激活函数满足这个性质的时候，如果参数的初始化是random的很小的值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要很用心的去设置初始值。
（4）输出值的范围： 当激活函数输出值是 有限 的时候，基于梯度的优化方法会更加 稳定，因为特征的表示受有限权值的影响更显着；当激活函数的输出是 无限 的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate。
2. 激活函数如何选择？
从定义来看，几乎所有的连续可导函数都可以用作激活函数。但目前 常见的多是分段线性和具有指数形状的非线性函数 。
选择的时候，就是根据各个函数的优缺点来配置，例如：
如果使用 ReLU，要小心设置 learning rate， 注意不要让网络出现很多 “dead” 神经元 ，如果不好解决，可以试试 Leaky ReLU、PReLU 或者 Maxout。
最好不要用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上 ReLU 和 Maxout。
一般来说，在分类问题上建议首先尝试 ReLU，其次ELU，这是两类不引入额外参数的激活函数。
然后可考虑使用具备学习能力的PReLU和MPELU，并 使用正则化技术 ，例如应该考虑在网络中增加Batch Normalization层。
通常来说，很少会把各种激活函数串起来在一个网络中使用的。
3. 为什么引入非线性激励函数？
激活函数通常分为 线性激活函数 和 非线性激活函数 。一般情况下，如果神经网络中使用的是线性激活函数，那么每一层就相当于是上一层的线性组合，其输入和输出均是线性的，类似于感知机模型，则hidden layers没有存在的意义了，同时这种线性函数对于 复杂的非线性问题拟合欠佳 。当我们使用非线性激活函数时，模型可以拟合任意函数的输出，表现空间更大、使用该范围广、且效果更优。下图为单层的感知机，是常用的神经网络组合单元，用它可以画出一条线，把平面分开。
很容易联想到多个感知机组和，获得更强的分类能力，效果如下所示：
但是感知机的输出是线性的，如下所示。当然可以用无限条线性的线拟合曲线，然而复杂度较高。
如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机（MLP）了。
正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。
当拓展到多层的情况时，就会变成一个复杂的函数，可以轻松拟合非线性的复杂场景。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。
比较线性激活和非线性激活下的平滑分类平面，两者分别如下。
非线性激活函数可以拟合出曲线的边界。图像的非线性特点，可以理解为在一些应用中，其分布为非线性的，无法通过直线来完整的分离开。
4. 为什么引入ReLU呢？
第一，采用sigmoid等函数，反向传播求误差梯度时，求导计算量很大，而Relu求导非常容易，使得训练时间短。
第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0），从而无法完成深层网络的训练。
第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。
参考：
[1] 神经网络之激活函数 https://www.csuldw.com/2019/05/26/2019-05-26-activation-function/
[2] 激活函数的解释 https://www.hu.com/question/22334626