高吞吐·低时延·省显存

轻量本地部署可行

QKV 分裂

多头注意力

分数矩阵并行

Softmax 归一化

FlashAttention 分块

算子融合

cu_seqlens 打包

在线 Softmax

KV Cache

PagedAttention 分页

KV 位置对齐

Continuous Batching

Chunked Prefill

Prefix Caching

量化 FP16/INT8/FP8

TensorRT 融合+调优

KV 缓存量化 Q4

张量并行 TP

流水线并行 PP

多卡显存聚合

投机采样 Speculative

Medusa 多头投机

MoE 稀疏激活