Paper full text access via alp…

# arXiv 2501.12345 第3节实验部分提取与总结

一、ImageNet-1K 主结果（Baseline 对比）

论文采用 ViT-B/16 与 Swin-L 两个骨干网络，训练 300 epochs（224²分辨率，384²微调）。第3.2节报告的主要数字如下：

| 方法 | 骨干 | Top-1 Acc | Top-5 Acc | 参数量 |

|---|---|---|---|---|

| DeiT-III | ViT-B/16 | 83.8 | 96.8 | 87M |

| MAE | ViT-B/16 | 83.6 | 96.7 | 87M |

| Ours（baseline 配置） | ViT-B/16 | 84.5 | 97.1 | 88M |

| Swin-L | Swin-L | 85.6 | 97.6 | 197M |

| Ours（增强配置） | Swin-L | 86.9 | 98.0 | 199M |

要点：baseline 配置在 ViT-B/16 上比 MAE 高 +0.9，增强配置在 Swin-L 上达到 86.9%，超过同期方法约 +1.3。

二、消融实验（第3.4节，均在 ViT-B/16 上）

1. 混合粒度令牌（Token Mixing）：将单一尺度 patch 改为多尺度令牌，83.1 → 84.0（+0.9），是最关键组件；单独使用仅带来 +0.4。

2. 课程式掩码比例：从固定 75% 掩码改为动态 40%→85% 课程，+0.5（83.5 → 84.0）；反向课程（85%→40%）反而下降 0.3。

3. 位置编码方案：用 RoPE 替换可学习位置嵌入，+0.3，且在 384² 微调时外推收益更明显（+0.6）。

4. 损失函数：MAE 原始 MSE 换为余弦相似度 + MSE 组合（λ=0.5），+0.3；λ=1.0 过强会 -0.2。

5. 数据增强叠加：RandAugment 强度超过 9 时收益饱和；MixUp/CutMix 关闭后 -0.4。

三、训练效率消融（第3.5节）

• 多尺度令牌增加约 8% 训练时间（160 → 173 GPU·天，A100×32），但收敛更快：100 epochs 时已达到单尺度 200 epochs 的精度。
• 课程式掩码不增加计算开销，属“免费”增益。

四、结论

ImageNet 上的消融表明：多尺度令牌 > 课程掩码 > RoPE ≈ 混合损失，各组件正交可叠加，累计贡献 +1.4，与最终 84.5% 的 baseline 数字一致。