2026年9月6日模型推理加速 大模型推理加速(二):KV Cache 到底占多少显存,PagedAttention 又解决了什么 从张量形状推导 KV Cache 显存占用,解释 GQA、分页分配与前缀缓存的区别,并给出容量估算代码。
2026年9月5日模型推理加速 4bit 量化为什么不一定更快:权重变小之后,瓶颈去了哪里 4bit 权重量化省下了显存,为什么生成速度没有同比提升?从权重与 KV 读取量出发,推导不同批次下的收益边界,用可运行代码区分访存、计算和反量化开销,再设计固定负载与容量两组对照实验。