We show that the double descent phenomenon occurs in CNNs, ResNets, and transformers: performance first improves, then gets worse, and then improves again with increasing model size, data size, or training time. This effect is often avoided through careful regularization. While this behavior appears to be fairly universal, we don’t yet fully understand why it happens, and view further study of this phenomenon as an important research direction.
“Deep double descent”这个标题简短、专业，带有强烈的研究信号，适合吸引机器学习、AI 研究和技术内容受众。它最大的传播点不是“深度”本身，而是“双重下降”这种反直觉现象，容易改写成“为什么模型越大，效果反而先变差再变好？”这类更适合大众理解的标题。若借势传播，可以突出“看起来违背常识”“大型模型为何会先翻车再变强”这类冲突感。
文章的核心结论是：双重下降现象不仅出现在简单模型里，也出现在 CNN、ResNet 和 Transformer 中，并且会随着模型规模、数据规模或训练时间增加而出现“先变好、再变差、再变好”的走势。作者同时指出，这种现象虽然看起来相当普遍，但我们仍然没有完全理解它的成因。另一个重要判断是：通过精心设计的正则化，很多时候可以避免这种性能波动。
可以做成“为什么 AI 训练不是越大越稳”的科普短文，重点解释“双重下降”这个反直觉曲线。也可以做成对比型内容，比如“传统经验告诉我们越复杂越容易过拟合，但深度学习里为什么会出现例外”。如果面向创作者平台，还可以延展成播客或视频选题：讨论大模型训练中的不确定性、正则化的作用，以及“科学上已观察到，但机制仍未完全搞清”的研究悬念。