模型推理加速不只是比较一个 tokens/s。这个专题从 Prefill、Decode、显存、注意力和采样算法出发，讨论优化为什么有效、在哪些条件下会失效，以及怎样设计可复现的对照实验。
系列文章
- 大模型推理加速（一）：先分清 Prefill、Decode 和你真正要优化的指标 — 从首 token 等待和逐 token 生成两种慢出发，区分 Prefill、Decode、TTFT、TPOT 与吞吐，并给出可比较的服务基准方法。
- 4bit 量化为什么不一定更快：权重变小之后，瓶颈去了哪里 — 4bit 权重量化省下了显存，为什么生成速度没有同比提升？从权重与 KV 读取量出发，推导不同批次下的收益边界，用可运行代码区分访存、计算和反量化开销，再设计固定负载与容量两组对照实验。
- 前缀缓存命中率很高，首字为什么还是慢？ — 前缀缓存命中率达到 90%，首 token 仍然慢，问题可能出在统计口径和排队。用一组可复算请求区分命中次数、token 复用率与计算节省，再推导缓存后剩余注意力的成本，给出真实流量下的对照方法。
- 吞吐涨了，用户却觉得更卡：连续批处理的延迟账怎么算 — 连续批处理提高了吞吐，为什么聊天输出反而更卡？用可运行的调度模型展示分块 Prefill 对首 token 和输出间隔的取舍，辨析闭环压测与尾延迟口径，按满足延迟要求的请求吞吐选择配置。
- 大模型推理加速（二）：KV Cache 到底占多少显存，PagedAttention 又解决了什么 — 从张量形状推导 KV Cache 显存占用，解释 GQA、分页分配与前缀缓存的区别，并给出容量估算代码。
- 大模型推理加速（三）：FlashAttention 为什么更快，又没有省掉哪些计算 — 从注意力中间矩阵和显存 IO 出发，用在线 softmax 代码解释 FlashAttention 如何得到精确结果，以及端到端收益为何不等比。
- 大模型推理加速（四）：推测解码为什么不改变分布，什么时候反而更慢 — 用三 token 概率例子推导推测解码的接受与修正分布，再用接受率和轮次成本判断它何时加速、何时变慢。
- 在线推理能扛多少请求：别用固定并发替代到达率压测 — 固定并发能测饱和吞吐，却回答不了线上安全 RPS。本文从张量工作量、开放环排队和请求级联合 SLO 出发，用多个独立重复运行的保守下包络判定单副本容量。
- 张量并行该开几卡：从每层两次 All-Reduce 算清加速边界 — 从活跃 token 数、隐藏维度和实测集合通信延迟出发，判断张量并行该开几卡，并比较单卡多副本与流水线并行的代价，附标准库验证和排障顺序。
阅读说明
文章会把公式推导、计算示例和硬件实测分开说明。涉及软件版本的内容会标注核对时间；如果你发现事实或代码问题，可以在文章评论中指出。
<small>本专题页由自动维护程序更新。</small>