代码收藏家技术教程 2023-08-05

MSELoss详解及避坑指南

MSE均方损失函数应用：

loss(xi,yi)=(xi−yi)2
loss(xi,yi)=(xi−yi)2
这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。

很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。

(1)如果 reduce = False，那么 size_average 参数失效，直接返回向量形式的 loss
(2)如果 reduce = True，那么 loss 返回的是标量

a)如果 size_average = True，返回 loss.mean();
b)如果 size_average = False，返回 loss.sum();

注意：默认情况下， reduce = True，size_average = True

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')

size_average和reduce在当前版本的pytorch已经不建议使用了，只设置reduction就行了。

reduction的可选参数有：'none' 、'mean' 、'sum'

reduction='none'：求所有对应位置的差的平方，返回的仍然是一个和原来形状一样的矩阵。

reduction='mean'：求所有对应位置差的平方的均值，返回的是一个标量。

reduction='sum'：求所有对应位置差的平方的和，返回的是一个标量。

在pytorch中，经常使用nn.MSELoss作为损失函数，例如

loss=nn.MSELoss()
input=torch.randn(3,5,requires_grad=True)
target=torch.randn(3,5)
error=loss(input,target)
error.backward()

这个地方有一个巨坑，就是一定要小心input和target的位置，说的更具体一些，target一定需要是一个不能被训练更新的、requires_grad=False的值，否则会报错！！！

————————————————

参考链接：

https://blog.csdn.net/jzwong/article/details/104085769

https://blog.csdn.net/hao5335156/article/details/81029791

分享到：