专题 — Blog of Code

系列文章9 篇

模型推理加速专题

模型推理加速不只是比较一个 tokens/s。这个专题从 Prefill、Decode、显存、注意力和采样算法出发，讨论优化为什么有效、在哪些条件下会失效，以及怎样设计可复现的对照实验。