标签： 模型推理加速

固定并发能测饱和吞吐，却回答不了线上安全 RPS。本文从张量工作量、开放环排队和请求级联合 SLO 出发，用多个独立重复运行的保守下包络判定单副本容量。