前缀缓存命中率很高，首字为什么还是慢？
前缀缓存命中率达到 90%，首 token 仍然慢，问题可能出在统计口径和排队。用一组可复算请求区分命中次数、token 复用率与计算节省，再推导缓存后剩余注意力的成本，给出真实流量下的对照方法。
4bit 量化为什么不一定更快：权重变小之后，瓶颈去了哪里
4bit 权重量化省下了显存，为什么生成速度没有同比提升？从权重与 KV 读取量出发，推导不同批次下的收益边界，用可运行代码区分访存、计算和反量化开销，再设计固定负载与容量两组对照实验。
大模型推理加速（一）：先分清 Prefill、Decode 和你真正要优化的指标
从首 token 等待和逐 token 生成两种慢出发，区分 Prefill、Decode、TTFT、TPOT 与吞吐，并给出可比较的服务基准方法。
macOS 使用 lftp 指南
macOS 使用 lftp 指南 lftp 是一款强大的命令行文件传输工具，支持 FTP、FTPS、HTTP、HTTPS、SFTP、FISH 和 BitTorrent 等多种协议。它具备断点续传、多线程传输、带宽控制、镜像同步等多种功能，非常适合需要高效传输的用户。本文将深入介绍 lftp 的安装、基本用法、进阶功能（如多线程传输和镜像）、SSH 别名配置及一些实用技巧。 1. 安装 lftp 在 […]
Golang for range 中 Slice 安全删除元素
常见的Golang循环中删除Slice元素方法
多级评论结构设计
社区类应用的场景离不开多级评论。本文介绍一种利用闭包表实现的多级评论结构，充分利用闭包表的优点实现高效CRUD。
消息队列
简介 消息：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）：是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在 应用场景 系统解耦：消息队列可以减少系 […]