LLM 推理优化学习路线

学习路线总览

基于你已经掌握 prefill/decode/forward 流程的基础，按以下顺序学习：

想先动手观察参数方向，可以打开推理性能优化交互实验室：调整 Dense/MoE、Batch、ISL/OSL、精度和 TP/DP/EP，查看 per-rank 显存与计算、访存、通信压力。它是教学级理论账本，不替代生产模拟器或实测。

① Attention / KV    → ② 性能瓶颈分析    → ③ 量化
   (计算与记忆)         (Compute/Memory)     (INT4/INT8/FP8)
        │                    │                    │
        └────────────────────┼────────────────────┘
                             ↓
④ 批处理与调度       → ⑤ 投机解码        → ⑥ 推理引擎
   (Continuous Batch)    (Speculative)       (vLLM 源码)

文件索引

序号	文件	核心内容
00.5	Token Flow 与 Hidden State	用 hidden state 串起 Attention、MoE、LM Head 和 Sampling
00.8	Attention 架构演化	缩放点积注意力、MHA 参数、GQA/MLA、稀疏与线性/混合路线
01	KV Cache	内存计算公式、MHA/GQA、PagedAttention、长文本策略
01.2	DeepSeek MLA	低秩 KV 联合压缩、RoPE 解耦、矩阵吸收、serving cache layout
01.5	Causal Attention 与 KV hit 面积模型	用下三角 attention 区域解释 1-h² 缩放
01.6	KV Cache Hit Ratio 修正模型	三张图解释 hit 后 attention/FFN/TTFT/TPM 缩放与统一修正公式
02	Compute vs Memory Bound	Roofline 模型、Prefill 算力瓶颈、Decode 带宽瓶颈
02.5	MoE 推理	Expert dispatch/combine、EP/TP/PP、单卡显存估算与 DeepEP
02.8	CPU 工程师理解量化	从 INT8、VNNI、AMX、Cache 和 perf/IBS 迁移到 Scale、Tensor Core、HBM 与 GPU trace
03	量化：从 Scale 到 W4A8	量化对象、数值格式、Scale 粒度、运行时合同与性能边界
03.2	量化方法与评测	PTQ/QAT 方法谱系、实验矩阵与执行/质量/容量/性能四道验收门
03.4	FP4/FP8 量化	Current/Delayed/MXFP8/NVFP4 的 Scale 配方与运行时能力边界
03.6	GLM-5.2 量化执行图	W4A8、低精度 BMM、BF16 Attention 与 KV8 的算子级精度契约
04	批处理与调度	静态/动态/连续批处理、Chunked Prefill、分离调度
04.5	Chunked Prefill 深入分析	chunk size、输入分桶、attention 形状、调度权衡与实验矩阵
04.6	GDN 与 Chunked Prefill	Qwen3Next/GDN、64-token kernel chunk、prepare_chunk_indices 与 GPU->CPU 同步
04.7	Prefill Trace 解读	Worker 供给、DSA/MLA、Queue Length、prefix cache 与 chunked prefill
05	投机解码	Draft-Verify 流程、EAGLE/Medusa、无损加速证明
05.5	DSpark 与 MTP	DeepSeek DSpark 半自回归草稿模型、置信度调度验证、DeepSpec 源码实现与 MTP-1 对比
06	推理引擎	vLLM/TRT-LLM/SGLang 架构、FlashAttention、并行策略
06.5	推理框架对比 2026	从 Engine 到 Serving Stack：P/D 分离、KV cache、MoE/EP、spec decode 与生产编排
Paper	DeepSeek-V3 Technical Report：中英对照解读	MLA、DeepSeekMoE、MTP、FP8、Prefill/Decode 分离部署

一句话路线图

Attention 如何选择信息 → KV Cache 如何保存历史 → Prefill/Decode 瓶颈 → 量化与调度 → 推理引擎

相关页面

• AWP 六维 Breakdown — 推理效率的诊断框架
• LLM 推理优化摘要 — 推理优化全链路方法论
• Agentic Infra：推理性能优化与 GPU 利用率提升 — 六大根因 / 八能力诊断 / 六层优化 / 业界实战案例
• DeepSeek-V3 Technical Report：中英对照解读 — 论文要点、工程解释和推理部署启发
• DeepSeek MLA：低秩 KV Cache 与推理效率 — MLA 低秩 KV cache、RoPE 解耦、矩阵吸收和 serving cache layout
• Attention 架构演化 — 串起 MHA、MQA/GQA、MLA、稀疏与线性/混合注意力
• Token Flow 与 Hidden State — 用一次 decode step 串起 hidden state、Attention、MoE、LM Head 和 Sampling
• 推理框架对比 2026 — 从单 engine 对比扩展到 P/D 分离、KV cache 生命周期、MoE/EP 和生产 serving stack
• Chunked Prefill 深入分析 — chunk size、输入分桶、attention 形状和调度实验矩阵
• GDN 与 Chunked Prefill — 解释 Qwen3Next/GDN 的 recurrent state、64-token kernel chunk 和 prepare_chunk_indices 同步开销
• Prefill Trace：Worker 供给、DSA/MLA 与 Chunked Prefill — 把等待、模型计算、KV 数据路径和通信同步分层解读
• DSpark 与 MTP：DeepSeek 投机解码调研 — DSpark 半自回归 drafter、confidence scheduler、DeepSpec 源码和 MTP-1 边界
• Causal Attention 与 KV hit 面积模型 — 解释 KV hit 后 attention 为什么近似按 1-h² 缩放
• KV Cache Hit Ratio 修正模型 — 三张图解释 hit 后 attention/FFN/TTFT/TPM 缩放与统一修正公式
• 从 AVX/AMX 到 Tensor Core — CPU 工程师进入 LLM 量化与 GPU 性能分析的桥接入口
• GPU Architecture Deep Dive — 推理性能依赖的硬件前置
• Megatron & Parallel — 推理引擎依赖的并行原理
• AI 推理系列 — 推理能力（reasoning）、Agent、RAG、fine-tuning 与蒸馏