1nn.BatchNorm       BatchNorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，是深度网络训练必不可少的一部分,几乎成为标配；        BatchNorm即批规范化，是为了将每个batch的数据规范化为统一的分布，帮助网络训练，对输入数据做规范化，称为Covariateshift；       数据经过一层层网络计算后，数据的分布也在发生着变化，因为每一次参数迭代更新后，上一层网络输出数据，经过这一层网络参数的计算，数据的分布会发生变化，这就为下一层网络的学习带来困难--也就是在每一层都进行批规范化（InternalCovariateshif

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录一、Batchnorm二、Layernorm三、总结一、BatchnormBatchNorm，一般用于CV任务，是把一个batch（N张图片）中同一通道的特征，将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。二、LayernormLayerNorm，一般用于NLP任务中，是把batch中的一个样本（一个句子）在当前层的所有特征，将其标准化。可以理解为对一个句子的整体进行标准化。三、总结由于二者的所应用的任务不同其特征维度也存在差异，图像对比会产生误解，在此用文字描述更利于理解。

文章目录BatchNormLayerNorm总结参考BatchNormBatchNormalization（下文简称BatchNorm）是2015年提出的方法。BatchNorm虽然是一个问世不久的新方法，但已经被很多研究人员和技术人员广泛使用。实际上，看一下机器学习竞赛的结果，就会发现很多通过使用这个方法而获得优异结果的例子。BatchNorm有以下优点。（1）可以使学习快速进行（可以增大学习率）。（2）不那么依赖初始值（对于初始值不用那么神经质）。（3）抑制过拟合（降低Dropout等的必要性）BatchNorm，顾名思义，以进行学习时的mini-batch为单位，按mini-batch进

是batchnormmomentumconvention(默认值=0.1)与其他库一样正确，例如Tensorflow好像一般默认是0.9或者0.99？或者也许我们只是使用了不同的约定？ 最佳答案 似乎pytorch中的参数化约定与tensorflow中的不同，因此pytorch中的0.1相当于tensorflow中的0.9。更准确地说:在tensorflow中:running_mean=decay*running_mean+(1-decay)*new_value在PyTorch中:running_mean=(1-decay)*run