工作版 · 推理侧 · 2026
从一次请求
到一台服务
模型没变，变的是工作负载。先把算力、显存容量、显存带宽这三笔账算清楚，再谈引擎和参数。
工作负载→瓶颈→机制→取舍→度量
开始读第 1 章 →
已写 3 / 13 章 · 约 30 分钟一章
23% 完成
目录
按顺序读；每章回答一个问题，答案会带出下一章的问题。
01
推理是什么
三层结构、一次请求的路径、时间的账与两个预算
→
02
先备知识
token、注意力、精度，以及算力与带宽的关系
→
03
模型
层数、头数、GQA、MoE 如何改变瓶颈
→
04
硬件
算力、显存、互联，从 A100 到 Blackwell
·
05
引擎与调度
批处理、连续批处理、切块预填充与抢占
·
06
缓存管理
KV 存在哪、分页怎么分、前缀怎么复用
·
07
量化
权重、KV、激活的取舍，先救容量
·
08
投机解码
草稿与验证，接受率决定上限
·
09
长上下文
算力与容量同时吃紧时先问什么
·
10
并行与拆解
TP/PP/EP、预填充与解码分离、通信代价
·
11
评测与成本
指标口径、压测设计、每百万 token 的成本
·
12
综合案例
7B、8K、20 并发，从头判断一次
·
A
附录
公式与速查
·
怎么读
三件事，决定这本书对你有没有用。
先算账，再换框架
看到慢，先用第 1 章那条式子拆开：搬运、计算、固定开销各占多少。定位错了，换引擎只是搬家。
数字都可手算
书里的每个数都能用纸笔复算，算不出来就说明没讲清。没有数字的结论一律当作假设。
结论都带条件
“能扛二十并发”没有意义，“8K 输入、512 输出、单张 80GB”才有。读的时候留意每条结论的前提。