数据挖掘 - 实现对批量大小不变的自定义损失函数 - 吾爱随笔录

在实现自定义损失函数时如何使其对batch size. 例如，假设dice loss正在实施。的公式dice loss是：

\sum_{c} 1 - {D S C}_{c} c : Classes, {D S C}_{c} : Dice score of class c

$\sum_{c}{} 1 - {DSC}_{c}\\ c: \text{Classes},\hspace{5mm} {DSC}_{c}: \text{Dice score of class }c$

这个公式没有说明如何处理batch size. 值得注意的是，根据这个公式，如果增加，则的值loss会batch size增加。显而易见的直觉是loss使用batch size. 在这种情况下，我有两个问题。

例如，在图像的情况下tensor，手头是4D。/可以为每个图像dice score和每个类计算得到如下所示的张量，其中loss2D $n$ 没有。类和 $m$ 是batch size。

[\begin{matrix} l_{1, 1} & \dots & l_{1, n} \\ ⋮ & ⋱ & ⋮ \\ l_{m, 1} & \dots & l_{m, n} \end{matrix}]

$\begin{bmatrix} l_{1, 1} & \dots & l_{1, n}\\ \vdots & \ddots & \vdots\\ l_{m, 1} & \dots & l_{m, n} \end{bmatrix}$ 现在聚合loss可以计算为：

\sum_{j = 1}^{n} \frac{1}{m} \sum_{i = 1}^{m} l_{i, j} = \frac{1}{m} \sum_{j = 1}^{n} \sum_{i = 1}^{m} l_{i, j}

$\sum_{j=1}^{n}\frac{1}{m}\sum_{i=1}^{m} l_{i, j} = \frac{1}{m}\sum_{j=1}^{n}\sum_{i=1}^{m} l_{i, j}$

或者，我们可以从一开始就忽略并在 a 中batch size生成每个类： loss1D tensor $[\begin{matrix} l_{1}^{^{'}} & \dots & l_{n}^{^{'}} \end{matrix}]$ $\begin{bmatrix} l_{1}^{'} & \dots & l_{n}^{'} \end{bmatrix}$

因此，归一化的聚合loss将是：

\frac{1}{m} \sum_{k = 1}^{n} l_{k}^{^{'}}

$\frac{1}{m}\sum_{k=1}^{n} l_{k}^{'}$

这两种方法有什么根本区别吗？哪一个是正确的（如果有的话）？