Keshav's first pass over one p…

# 论文速读：Flash Attention 3：面向Hopper架构的注意力加速

问题背景

标准Transformer自注意力在大序列下计算量O(n²)，且GPU利用不充分。此前FlashAttention-2在Ampere架构达到约50%理论峰值算力，但面对H100（Hopper）架构的新特性（异步执行、TMA、FP8）利用不足。核心问题：如何让注意力计算在最新硬件上跑满、跑快、更省。

方法核心

1. 软硬件协同设计：充分利用Hopper三个新特性——

• WGMMA异步指令与Tensor Memory Accelerator（TMA）实现异步数据搬运；
• 软件流水：将softmax内积与PV矩阵乘重叠执行，隐藏延迟；
• 低精度FP8训练：在保持精度的前提下吞吐翻倍。

2. Block-wise稀疏扩展：支持块级稀疏注意力，无需牺牲硬件效率。

3. 无需改动模型结构，即插即用替换标准attention模块。

实验效果

• 速度：H100上达740 TFLOPs/s（FP16，约75%理论峰值），FP8接近1.2 PFLOPs/s；相比FlashAttention-2提速1.5-2倍。
• 端到端：GPT风格训练（16k序列长度）整体加速约1.5-2倍，注意力不再是瓶颈。
• 精度：各下游任务（语言建模70B训练、ViT、长上下文评测）损失与基线一致，FP8版本损失<0.5%困惑度。
• 长序列优势明显：序列越长提速越显著（128k下超过2倍）。

局限性

仅针对Hopper架构优化，旧GPU无法受益；FP8需仔细校准；代码复杂度高、维护成本大。

一句话总结：这篇论文证明了“算法-硬件协同设计”路线的价值——不改模型，只重写attention算子，就让大模型训练又快又省，是后续各大框架（vLLM、Megatron）的标配基础组件。

对你 useful 的点：若你在H100上训练长上下文模型，直接换FA3即可白拿约1.5倍提速；若在A100及以下，FA2仍是更优选择。