Tech Stack
语言：Golang Python C TypeScript Java
前端：React Vue Android Next.js
后端：Gin Beego FastAPI Node.js SpringBoot
数据库：MongoDB MySQL RabbitMQ Redis
算法：NLP LLM Leetcode
最新内容
吞吐涨了，用户却觉得更卡：连续批处理的延迟账怎么算
连续批处理提高了吞吐，为什么聊天输出反而更卡？用可运行的调度模型展示分块 Prefill 对首 token 和输出间隔的取舍，辨析闭环压测与尾延迟口径，按满足延迟要求的请求吞吐选择配置。
Jellow 2026年9月5日 10:29
前缀缓存命中率很高，首字为什么还是慢？
前缀缓存命中率达到 90%，首 token 仍然慢，问题可能出在统计口径和排队。用一组可复算请求区分命中次数、token 复用率与计算节省，再推导缓存后剩余注意力的成本，给出真实流量下的对照方法。
Jellow 2026年9月5日 10:29
