2022.05.26更新增加SMU激活函数前言激活函数是一种添加到人工神经网络中的函数，类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。此图来自百度百科，其中stepfunction就是激活函数，它是对之前一层进行汇总后信号进行激活，传给下一层神经元。常用的激活函数有以下10个：常用的10个激活函数SigmoidTanhReLUSoftmaxLeakyReLUELUPReLUSwishSquareplusSMU1.Sigmoid如上图是Sigmoid函数的函数图像。Sigmoid函数的图像看起来像一个S形曲线。公式：            f(x)=11+e−x

目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.LeakyReLU5.ELU6.softmax7.Swish一、激活函数定义        激活函数(Activationfunctions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的inputs通过加权，求和后，还被作用了一个函数f，这个函数f就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层

目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.LeakyReLU5.ELU6.softmax7.Swish一、激活函数定义        激活函数(Activationfunctions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的inputs通过加权，求和后，还被作用了一个函数f，这个函数f就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层