这个是层归一化。我们输入一个参数，这个参数就必须与最后一个维度对应。但是我们也可以输入多个维度，但是必须从后向前对应。importtorchimporttorch.nnasnna=torch.rand((100,5))c=nn.LayerNorm([5])print(c(a).shape)a=torch.rand((100,5,8,9))c=nn.LayerNorm([9])print(c(a).shape)a=torch.rand((100,5,8,9))c=nn.LayerNorm([8,9])print(c(a).shape)a=torch.rand((100,5,8,9))c=nn.L

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录一、Batchnorm二、Layernorm三、总结一、BatchnormBatchNorm，一般用于CV任务，是把一个batch（N张图片）中同一通道的特征，将其标准化。可以理解为对Batch中的所有图的每一层像素进行标准化。二、LayernormLayerNorm，一般用于NLP任务中，是把batch中的一个样本（一个句子）在当前层的所有特征，将其标准化。可以理解为对一个句子的整体进行标准化。三、总结由于二者的所应用的任务不同其特征维度也存在差异，图像对比会产生误解，在此用文字描述更利于理解。

文章目录BatchNormLayerNorm总结参考BatchNormBatchNormalization（下文简称BatchNorm）是2015年提出的方法。BatchNorm虽然是一个问世不久的新方法，但已经被很多研究人员和技术人员广泛使用。实际上，看一下机器学习竞赛的结果，就会发现很多通过使用这个方法而获得优异结果的例子。BatchNorm有以下优点。（1）可以使学习快速进行（可以增大学习率）。（2）不那么依赖初始值（对于初始值不用那么神经质）。（3）抑制过拟合（降低Dropout等的必要性）BatchNorm，顾名思义，以进行学习时的mini-batch为单位，按mini-batch进