Full-text deep reading of meth…

# 关于该任务的重要说明

无法确认该论文存在：我检索记忆后，未能确认NeurIPS 2021上有Pang Wei Koh等人题为《Convergence of SGD》的论文。Koh的代表作是Influence Functions（ICML 2017）与数据溯源方向工作（Datamodels等）。为避免编造，我不能虚构该文的定理细节。以下给出SGD收敛性证明中学习率调度假设的通用框架笔记，供你对照原文使用。

# SGD收敛率证明中典型的学习率假设形式

常见三类调度

• 衰减步长：η_t = η₀/t 或 η₀/√t，前者多用于强凸/凸情形，可达 O(1/t) 或 O(1/√T) 遗憾界；
• 常数步长：η 固定，通常只能收敛到最优解的 O(η) 邻域（含梯度噪声/方差项）；
• 阶段衰减（Step-decay）：每隔若干轮乘以衰减因子，实践中深度学习最常用。

证明中的典型假设清单（核对原文时找这几项）

1. 凸性假设：凸 / 强凸 / 非凸（PL条件）；

2. 有界性假设：随机梯度方差有界（E‖g(x)−∇f(x)‖² ≤ σ²）或梯度Lipschitz；

3. 步长条件：∑η_t = ∞ 且 ∑η_t² < ∞（Robbins-Monro条件，保证几乎必然收敛）；

4. 速率结果：通常形如 E[f(x̄)] − f* = O(ησ² + η₀/(T))，即方差项与偏差项的权衡。

# 建议的核实路径

• 在 NeurIPS 2021 官方Proceedings或OpenReview检索作者名“Koh”与关键词“SGD convergence”；
• 若找到原文，重点看：定理陈述前的Assumption编号、步长是否要求单调不增、是否需要∑η_t²有界；
• 也可确认是否为你记忆有偏差的相关工作（如Bottou、Vaswani等人的SGD收敛综述）。

如你能提供论文链接或摘要，我可以直接按原文逐条拆解并整理成规范的一页笔记。