Blog of CodeJELLOW’S ENGINEERING NOTES
NOTES ON CODE & SYSTEMS

求知若饥,
虚心若愚。

从代码到系统,记录学习与工程实践。

01 / FIELD NOTESGolang · AI Infra
模型推理加速 · Agent 工程

最新文章Writing

共 403 篇
最新 8 篇 · 共 403 篇文章

前缀缓存命中率很高,首字为什么还是慢?

前缀缓存命中率达到 90%,首 token 仍然慢,问题可能出在统计口径和排队。用一组可复算请求区分命中次数、token 复用率与计算节省,再推导缓存后剩余注意力的成本,给出真实流量下的对照方法。

Jellow阅读全文 →
查看全部文章 已显示 8 / 403 篇