标签： FlashAttention

从注意力中间矩阵和显存 IO 出发，用在线 softmax 代码解释 FlashAttention 如何得到精确结果，以及端到端收益为何不等比。