为在长尾数据集上的应用，通过蒸馏标记引入知识，以及使用分布外图像并重新加权蒸馏损失来增强对尾类的关注。此外，为了减轻过拟合，论文建议用经过训练的教师进行蒸馏，促使所有块中标记学习低秩泛化特征。经过的训练方案，标记成为尾类的专家，分类器标记成为头类的专家，有效地学习与多数类和少数类相对应的特征来源：晓飞的算法工程笔记 公众号

论文: DEYO: DETR with YOLO for Step-by-Step Object Detection

  是需要对大型数据集进行预训练，数据高效()旨在通过从预训练的中提取信息来减少预训练的要求，提高的数据和计算效率。然而，所有这些改进仅限于平衡的数据集。

  关于可以看这篇文章：

  在这项工作中，论文的目标是从头开始研究和改进的训练，而不需要对图像大小和分辨率各异的各种额外长尾数据集进行大规模预训练。最近的研究表明在长尾识别任务上的性能有所提高，但这些通常需要在大规模数据集上进行昂贵的预训练。此外，大规模预训练数据集通常会无意中引入的偏差。为了减轻这些缺点，论文为长尾引入了数据高效的()，一个可以在小型和大规模长尾数据集上从头训练的方案。

  基于以下重要设计原则：

  是专门针对长尾数据的数据高效模型，跟一样，除了标记之外，还包含通过蒸馏从学习的标记。

  此外，引入了三个特殊的设计组件：

  在中，需要使用跟一样的强增强图像来训练一个大型（）用于蒸馏，这会产生额外的开销。相比之下，使用常规的弱增强来训练小型（）网络，然后在蒸馏过程中使用强增强图像获得预测进行蒸馏。

  这些强增强图像是的分布外 () 图像，因为模型在这些训练图像上的准确度较低，如表 1 所示（这里的应该是对应增强图片的准确率，非简单测试集。教师应该是强增强训练的，不然不应该这么高。而教师则应该全是弱增强训练的，所以增加数据增强后逐步下降）。与弱增强蒸馏相比，尽管对强增强图像的准确度较低，但你强增强蒸馏依然可以产生有效的效果。因为学生学会模仿教师对分布外图像的错误预测，这使得学生能够学习教师的归纳偏差。

$$

f^{d}(X)approx g(X),Xsim A(x)

$$

  此外，论文发现通过混合两个类别的图像来创建额外的分布外样本也可以提高蒸馏性能。从教师预测的熵中可以看出，对于样本的预测熵很高（即信息量更大）。总的来说，论文发现在蒸馏时增加不同数量的分布外数据有助于提高性能并导致的有效蒸馏。

  通过使用分布外图像进行蒸馏，教师预测 $y_t$ 通常与真实值 $y$ 不同。因此，标记和标记的特征表达在训练时会有所不同。如图 4a 所示，标记和标记特征之间的余弦距离随着训练的进行而增加，导致标记成为头类预测的专家，而标记则专注于尾类预测。这个发现打破了中，标记输出与标记输出相似的现象。

  论文引入了延迟重加权（）来计算蒸馏损失，使用因子 $wy = 1/{1 + (e_y − 1)mathbb{1}{mathrm{epoch}}ge K}$ 来衡量每个类别的损失，其中 $e_{y}=mathrm{frac{1-beta^{{N}_y}}{1{-beta}}}$ 是 $y$ 类中在 $K$ 个周期后的有效样本数。因此，总损失如下：

$$

begin{array}{c}

mathcal{L}=frac{1}{2}mathcal{L}{C E}(f^{c}(x),y)+frac{1}{2}mathcal{L}{D R W}(f^{d}(x),y_{t}),

mathrm{where} mathcal{L}{DRW}=-w{yt}log(f^d(x){y_t})

end{array}

$$

  阶段进一步增强了蒸馏头对尾部类别的关注，从而提高了性能。如图 4a 所示，两个标记间的多样性在引入阶段后得到了改善。能够引导不同的和标记的创建，分化为多数类和少数类的专家。

  为了深入了解蒸馏的通用性和有效性，论文仔细研究了生成的尾部特征。在图 4b 中，绘制了头部每个标记的平均注意力距离。

  在第一个和第二个块中，出现了像一样关注邻域标记的头。由于这种对局部泛化的类不可知的特征，少数类的泛化能力有所提高（图 1c）。

  如果没有蒸馏，和基线在全局特征上过度拟合（图 4b），没有很好地泛化到尾部类别。因此，中的蒸馏是一种非常适合长尾场景的方法。

  为了进一步提高特征的泛化性，特别是对于数据较少的类，论文通过锐度感知最小化（）训练的教师模型，使其能够收敛到最小平面并得到低秩特征。

  为了分析情况下学生模型的特征秩，论文专门计算尾类特征的秩。具体来说，对通过和训练的不同教师模型进行对比实验，观察特征秩情况。

  如图 4c 所示，根据教师模型的预测蒸馏出的模型会出现跨块的低秩泛化标记特征。

  通过蒸馏最终的向量就能将教师的特征（低秩）迁移给学生，这对于蒸馏是一个重大的新发现。

  以高分辨率（$224 imes224$）训练大型来蒸馏，而论文则以较低的分辨率训练较小的($32 imes32$)来实现有竞争力的性能。如表 1 所示，这显著减少了计算要求和总体训练时间 13 小时，因为模型可以快速训练。此外，使用教师模型时，学生模型的收敛速度比使用普通教师模型时快得多，这证明了教师对于低秩蒸馏的功效。

  遵循中提到的设置来为论文的实验创建学生模型，对所有数据集使用学生模型架构。

  教师模型的训练，可以选择使用基于重新加权的方法或+（使用优化器训练）来训练。

  教师模型的选择，小规模数据集（和）采用，大规模的采用。

  头部专家分类器使用损失训练，而尾部专家分类器则使用+损失来训练来自教师网络的硬蒸馏目标。

  模型训练 1200 个周期，其中尾部专家分类器的训练从第 1100 个周期开始。除了训练（最后 100 个时期）外，对输入图像使用和增强。使用优化器通过余弦学习率进行训练，基础为 $5 imes10^{-4}$。

  模型分别训练了 1400 和 1000 个周期，尾部专家分类器的训练分别从 1200 和 900 个周期开始。在整个训练过程中使用和增强，都遵循余弦学习率，基本为 $5 imes10^{-4}$。

    以上就是本篇文章【DeiT-LT：印度科学院提出针对长尾数据的DeiT升级模型 ｜ CVPR 2024】的全部内容了，欢迎阅览 ！ 文章地址：http://sjzytwl.xhstdz.com/xwnews/920.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://sjzytwl.xhstdz.com/mobile/ , 查看更多