Skip to content
Blog of Code
  • 主页
  • 文章
  • 订阅
  • 关于
  • 图集
  • 推理加速
Blog of Code
Close menu
  • 主页
  • 文章
  • 订阅
  • 关于
  • 图集
  • 推理加速
Toggle menu
Blog of Code

标签: 性能测试

2026年9月5日2026年9月5日模型推理加速

大模型推理加速(一):先分清 Prefill、Decode 和你真正要优化的指标

从首 token 等待和逐 token 生成两种慢出发,区分 Prefill、Decode、TTFT、TPOT 与吞吐,并给出可比较的服务基准方法。

登录

主要作为CZT的博客使用

欢迎大家订阅更新

网址:www.cztcode.com

Github:https://github.com/CZT0

本页面浏览人数:40 次浏览

TOP10文章

  • 2022中科大先研院计专11408经验分享 - 3,615 浏览
  • CTF解密MISC(二) - 2,846 浏览
  • 《8小时转职Golang工程师》超时强踢功能的BUG修复 - 2,327 浏览
  • Mac软件分享 - 2,314 浏览
  • DRAM刷新方式 - 2,282 浏览
  • 科林明伦杯 - 1,782 浏览
  • Google play上架流程 - 1,645 浏览
  • IDEA JSP 热部署 - 1,632 浏览
  • VUE3之Component(一) - 1,505 浏览
  • Koa的简易目录结构设计 - 1,497 浏览

订阅更新

订阅

分类

  • Android
  • APP开发
  • C++
  • CTF
  • Flutter
  • Golang
  • Java
  • Linux
  • MyBatis
  • next.js
  • node.js
  • Spring
  • Vue
  • Web
  • 模型推理加速
  • 深度学习
  • 算法
  • 综合

友情链接

T4rn's Universe
End-donkey
冻葱Tewi
BtoAI

推理加速专题

从指标、显存到解码算法,查看完整系列

© 2026 Blog of Code. Designed By CZT