高吞吐·低时延·省显存
轻量本地部署可行
QKV 分裂
多头注意力
分数矩阵并行
Softmax 归一化
FlashAttention 分块
算子融合
cu_seqlens 打包
在线 Softmax
KV Cache
PagedAttention 分页
KV 位置对齐
Continuous Batching
Chunked Prefill
Prefix Caching
量化 FP16/INT8/FP8
TensorRT 融合+调优
KV 缓存量化 Q4
张量并行 TP
流水线并行 PP
多卡显存聚合
投机采样 Speculative
Medusa 多头投机
MoE 稀疏激活