模型推理加速2026-09-05吞吐涨了,用户却觉得更卡:连续批处理的延迟账怎么算连续批处理提高了吞吐,为什么聊天输出反而更卡?用可运行的调度模型展示分块 Prefill 对首 token 和输出间隔的取舍,辨析闭环压测与尾延迟口径,按满足延迟要求的请求吞吐选择配置。阅读全文 →