标签： KV Cache

4bit 权重量化省下了显存，为什么生成速度没有同比提升？从权重与 KV 读取量出发，推导不同批次下的收益边界，用可运行代码区分访存、计算和反量化开销，再设计固定负载与容量两组对照实验。