张量并行该开几卡：从每层两次 All-Reduce 算清加速边界
从活跃 token 数、隐藏维度和实测集合通信延迟出发，判断张量并行该开几卡，并比较单卡多副本与流水线并行的代价，附标准库验证和排障顺序。
分类： 模型推理加速
模型推理服务的延迟、吞吐、显存、算子、调度与解码算法。
在线推理能扛多少请求：别用固定并发替代到达率压测
固定并发能测饱和吞吐，却回答不了线上安全 RPS。本文从张量工作量、开放环排队和请求级联合 SLO 出发，用多个独立重复运行的保守下包络判定单副本容量。
大模型推理加速（四）：推测解码为什么不改变分布，什么时候反而更慢
用三 token 概率例子推导推测解码的接受与修正分布，再用接受率和轮次成本判断它何时加速、何时变慢。
大模型推理加速（三）：FlashAttention 为什么更快，又没有省掉哪些计算
从注意力中间矩阵和显存 IO 出发，用在线 softmax 代码解释 FlashAttention 如何得到精确结果，以及端到端收益为何不等比。
大模型推理加速（二）：KV Cache 到底占多少显存，PagedAttention 又解决了什么
从张量形状推导 KV Cache 显存占用，解释 GQA、分页分配与前缀缓存的区别，并给出容量估算代码。
吞吐涨了，用户却觉得更卡：连续批处理的延迟账怎么算
连续批处理提高了吞吐，为什么聊天输出反而更卡？用可运行的调度模型展示分块 Prefill 对首 token 和输出间隔的取舍，辨析闭环压测与尾延迟口径，按满足延迟要求的请求吞吐选择配置。
前缀缓存命中率很高，首字为什么还是慢？
前缀缓存命中率达到 90%，首 token 仍然慢，问题可能出在统计口径和排队。用一组可复算请求区分命中次数、token 复用率与计算节省，再推导缓存后剩余注意力的成本，给出真实流量下的对照方法。