大模型推理加速(二):KV Cache 到底占多少显存,PagedAttention 又解决了什么
从张量形状推导 KV Cache 显存占用,解释 GQA、分页分配与前缀缓存的区别,并给出容量估算代码。
阅读全文 →2 篇文章
从张量形状推导 KV Cache 显存占用,解释 GQA、分页分配与前缀缓存的区别,并给出容量估算代码。
阅读全文 →4bit 权重量化省下了显存,为什么生成速度没有同比提升?从权重与 KV 读取量出发,推导不同批次下的收益边界,用可运行代码区分访存、计算和反量化开销,再设计固定负载与容量两组对照实验。
阅读全文 →