大模型训练与推理框架全景对比
目前主流的大模型框架已形成清晰的「训练派」与「推理派」格局:训练框架主打灵活和分布式扩展,推理框架则追求极致的速度和显存效率。微调技术栈则在两者之间扮演关键角色——让通用基座模型低成本地适配具体任务。
一、框架全景速览
| 类别 | 框架 / 技术 | 一句话定位 | 硬件依赖 |
|---|---|---|---|
| 训练基础 | PyTorch | 研究首选,LLM 开发的事实标准,生态最完善 | CUDA + Python |
| DeepSpeed | 千亿/万亿级超大模型训练「核武器」,解决显存不足问题 | 多机多卡(NCCL)+ Linux | |
| Unsloth | 个人开发者单卡神器,训练速度比标准快 2–5 倍,极省显存 | RTX 3060+,22 GB+ 显存 | |
| 微调方法 | PEFT / LoRA | 参数高效微调的主流方案,只训练少量适配器参数 | 单卡即可 |
| QLoRA | LoRA + 4-bit 量化,极限压缩显存,消费级 GPU 微调大模型 | 单卡 16 GB+ | |
| SFT | 监督微调,用高质量指令数据让模型学会「听话」 | 视模型大小而定 | |
| RLHF / PPO | 从人类反馈中强化学习,对齐人类偏好的「终极方案」 | 需多卡,资源密集 | |
| DPO | RLHF 的简化替代,直接用偏好数据优化,无需训练奖励模型 | 资源需求低于 RLHF | |
| 推理引擎 | vLLM | 当前最流行的通用推理引擎,兼顾高性能与易用性 | NVIDIA / AMD GPU,CUDA 12+ |
| SGLang | 后起之秀,多轮对话 / 结构化输出场景性能超越 vLLM | NVIDIA GPU(A100 / H100 更佳) | |
| TensorRT-LLM | 性能冠军(NVIDIA 卡),但部署复杂,需模型格式转换 | 仅限 NVIDIA GPU | |
| LMDeploy | 上海 AI Lab 出品,TurboMind 引擎,国产模型(InternLM / Qwen)优化深入 | NVIDIA GPU | |
| llama.cpp | CPU 运行大模型,本地离线 / 边缘设备首选 | 仅需 CPU / Apple Silicon | |
| TGI | HuggingFace 官方出品,生态无缝集成,开箱即用 | Rust 环境 + Docker | |
| 应用层工具 | Ollama | 命令行一键运行 GGUF,开发者本地首选 | CPU / GPU 全平台 |
| LM Studio | 图形化桌面 App,零代码使用,非技术用户友好 | CPU / GPU 全平台 | |
| Xinference | 多模型类型聚合(LLM / Embedding / Rerank / 多模态),多后端可切换 | CPU / GPU 全平台 | |
| LocalAI | OpenAI API 兼容的自托管平台,覆盖文 / 图 / 音多模态 | CPU / GPU 全平台 | |
| Triton Inference Server | NVIDIA 企业级通用推理服务器,可托管 TRT-LLM / vLLM 等多引擎 | 主要 NVIDIA GPU |
二、推理框架深度对比
2.1 核心技术原理
vLLM(UC Berkeley)
- 首创 PagedAttention 技术,借鉴操作系统虚拟内存与分页思想
- 有效解决 KV Cache 碎片化问题,显存利用率可达 90%+
- 允许在相同显存下处理更多并发请求
SGLang(LMSYS)
- 提出 RadixAttention(基数树结构),实现自动前缀缓存复用
- 在多轮对话、长文档问答等场景中,可自动复用已计算的 KV 值,避免重复计算
- 原生支持结构化输出(JSON),通过正则约束实现
TensorRT-LLM(NVIDIA)
- 采用内核融合与计算图优化,对 NVIDIA 硬件做极致榨取
- 性能最强,但模型需转换为专用
.engine格式,部署流程复杂
LMDeploy(上海 AI Lab)
- 自研 TurboMind C++ 推理引擎,从 FasterTransformer 演进而来
- 支持 W4A16 / KV INT8 量化,大模型显存占用低,国产模型(InternLM / Qwen 系列)适配最深
- 在 Qwen 等模型场景下吞吐量与 vLLM 相当或略胜,是国产开源生态首选
llama.cpp
- 核心是 GGUF 量化技术
- 能让大模型在纯 CPU、甚至树莓派上运行
TGI(HuggingFace)
- 支持 Continuous Batching 与多种量化格式
- 对
SafeTensors等 HF 原生格式有最佳兼容性
2.2 实测性能对比
以下数据来自阿里云等平台的公开测试(模型:Qwen-7B,硬件:A100)
| 指标 | vLLM | SGLang | LMDeploy | TensorRT-LLM |
|---|---|---|---|---|
| 吞吐量(tokens/s) | ~2,000–3,000 | ~3,500–4,500(高 20%–50%) | ~3,000–4,500(Qwen 等模型领先 vLLM) | ~4,000–5,000(最高) |
| 首字延迟 TTFT | 基准 | 优化 20%–50% | 较低 | 最低 |
| 显存占用(长文本) | 较低(PagedAttention) | 较低(动态复用) | 低(W4A16 + KV INT8) | 最低(配合量化) |
| 多轮对话场景 | 好 | 极好(前缀缓存优势明显) | 好 | 好 |
| 结构化生成(JSON) | 一般(需后处理) | 原生支持(正则约束) | 一般 | 不支持 |
| 国产模型适配 | 通用 | 通用 | InternLM / Qwen 优化最佳 | 需手动转换 |
| 部署复杂度 | 低 | 低 | 低 | 高(需转 engine) |
2.3 推理框架选型建议
| 场景 | 推荐框架 | 理由 |
|---|---|---|
| 追求极致性能 + NVIDIA A100 / H100 | TensorRT-LLM | 性能最强,但需接受复杂的模型转换流程 |
| 通用生产环境 + 高并发 / 高吞吐 | vLLM | 社区最成熟,综合性能强,问题易排查 |
| 多轮对话 / Agent / 需要生成 JSON | SGLang | RadixAttention 在重复前缀场景优势巨大,原生结构化输出 |
| 部署 InternLM / Qwen 等国产模型 | LMDeploy | TurboMind 对国产模型优化深入,量化方案成熟,性能稳定 |
| CPU 运行 / Apple Silicon / 边缘设备 | llama.cpp | 唯一无需 GPU 的高效方案 |
| HuggingFace 生态优先 / 快速上线 | TGI | 开箱即用,与 HF Hub 无缝集成 |
三、训练与微调框架定位
目前最主流的训练组合是 PyTorch + DeepSpeed。
PyTorch
大模型时代的「通用语言」,几乎所有新模型(HuggingFace Transformers)都原生支持。适用于:
- 研究实验与快速验证想法
- 单卡训练小型模型
- 与其他框架配合使用的基础层
DeepSpeed(Microsoft)
专门解决「显存装不下整个模型」问题的分布式训练框架。核心技术:
- ZeRO 优化器(Zero Redundancy Optimizer):将模型参数、梯度、优化器状态分片存储,让千亿参数模型的训练成为可能
- 支持 ZeRO Stage 1 / 2 / 3,逐级增强显存节省效果
FSDP(PyTorch 原生)
FSDP(Fully Sharded Data Parallel)是 PyTorch 内置的分布式训练方案,功能定位与 DeepSpeed ZeRO 类似:把模型参数、梯度、优化器状态全部分片到多张卡,每张卡只持有一份分片,显存占用大幅下降。
| 对比维度 | DeepSpeed | FSDP |
|---|---|---|
| 归属 | Microsoft 开源 | PyTorch 原生内置 |
| 功能丰富度 | 更全(Offload、MoE 等) | 较基础但够用 |
| 安装依赖 | 需单独安装 | 无需额外依赖 |
| 适合场景 | 超大规模生产训练 | 追求简洁、原生集成 |
Unsloth
面向资源有限场景的高效微调工具。特点:
- 通过定制 Triton 内核,在 QLoRA 微调场景下速度提升 2–5 倍
- 显存占用大幅降低,单张 RTX 3090/4090 即可微调 7B–13B 模型
- 适合个人开发者和小团队
四、微调技术栈详解
微调是让通用基座模型(Base Model)适配具体业务的核心手段。技术上分为两个维度:「怎么训」(参数效率)和「训什么目标」(对齐方式)。
4.1 参数高效微调(PEFT)方法体系
全量微调(Full Fine-tuning)虽然效果最好,但需要与预训练相当的显存,成本极高。PEFT(Parameter-Efficient Fine-Tuning)技术通过只更新少量参数来大幅降低资源门槛。
LoRA(Low-Rank Adaptation)
核心思想:在原始权重矩阵旁边插入一个低秩分解的「旁路适配器」,训练时只更新适配器,推理时将其合并回原始权重,无额外延迟。
原始权重 W(冻结)
+
低秩矩阵 A × B(可训练,参数量仅为原来的 0.1%–1%)
↓
W' = W + α · (A × B) # 推理时合并,零开销
关键超参数:
-
r(秩):越大表达能力越强,显存也越高,常用值 8 / 16 / 32 / 64 -
lora_alpha:缩放系数,通常设为r的 2 倍 -
target_modules:指定应用 LoRA 的投影矩阵。每个 Attention 层有四个线性投影:q_proj— Query,查询投影k_proj— Key,键投影v_proj— Value,值投影o_proj— Output,多头注意力的输出合并投影(把多个注意力头的结果拼接后映射回隐层维度)
最小配置选
q_proj + v_proj(显存最省),加入o_proj和k_proj效果更好但显存更高
优点:显存节省 60%–80%,训练速度快,多任务可切换适配器
缺点:对需要深度改变模型行为的任务效果略逊于全量微调
QLoRA(Quantized LoRA)
核心思想:在 LoRA 基础上,将基座模型量化为 4-bit NF4 格式加载,进一步压缩显存。训练时动态反量化到 BF16 精度计算梯度,只有 LoRA 适配器保持 BF16 精度可训练。
精度说明:
- FP32(32-bit)= 全精度,标准训练精度
- BF16(16-bit Brain Float)= 半精度,指数位与 FP32 相同(动态范围不损失),尾数位少,训练中广泛使用
- NF4(Normal Float 4)= 4-bit 量化格式,由 bitsandbytes 库提出,专为正态分布的模型权重设计,量化误差比普通 INT4 更小
QLoRA 的精度组合:基座权重用 NF4(极省显存)→ 计算时动态反量化到 BF16(速度与精度的平衡)→ LoRA 适配器始终保持 BF16 参与梯度更新
基座模型:NF4 4-bit 量化(显存极小,约为 FP16 的 1/4)
LoRA 适配器:BF16 半精度(可训练)
计算时:NF4 → BF16 动态反量化(逐块,不影响显存上限)
= 单张 24 GB 显卡可微调 70B 模型
典型显存需求:
| 模型规模 | 全量微调 | LoRA | QLoRA |
|---|---|---|---|
| 7B | ~80 GB | ~40 GB | ~10 GB |
| 13B | ~160 GB | ~80 GB | ~16 GB |
| 70B | ~800 GB | ~400 GB | ~48 GB |
其他 PEFT 方法
LoRA 也是 Adapter 的一种吗? 广义上是的,但业界通常把「Adapter」专指下表中的串联式结构(Houlsby Adapter),LoRA 是并联式旁路结构,两者的关键区别在于推理开销:
| 方法 | 插入方式 | 推理延迟 | 原理 | 适用场景 |
|---|---|---|---|---|
| Adapter(串联) | 在层内串联 MLP 模块 | 有延迟(推理必经此路) | 输入→Adapter→输出,无法合并 | 研究场景,可热插拔多任务 |
| LoRA(并联) | 在权重旁并联低秩矩阵 | 零延迟(推理时可合并进原始权重) | W’ = W + A×B,合并后无痕 | 工程落地主流方案 |
| Prefix Tuning | 输入前拼接可学习软提示向量 | 轻微(序列变长) | 影响注意力分布,不改权重 | 参数量极少,效果不如 LoRA 稳定 |
| Prompt Tuning | 仅在 Embedding 层加可学习 token | 极小 | Prefix Tuning 的简化版 | 超大模型(100B+)的轻量适配 |
| IA³ | 学习缩放向量调整激活值 | 几乎无 | 乘法缩放,参数量比 LoRA 更少 | 极端资源受限场景 |
PEFT 库(HuggingFace)
peft 是 HuggingFace 提供的统一 PEFT 实现库,几行代码即可启用 LoRA:
from peft import get_peft_model, LoraConfig, TaskType
config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.05,
task_type=TaskType.CAUSAL_LM
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920 || trainable%: 0.06%4.2 微调目标与对齐方法
参数效率解决「怎么训」,对齐方法解决「训什么」。从基座模型到能用的助手模型,通常经历以下阶段:
预训练基座模型(Base)
│
▼ 阶段一:SFT(监督微调)
指令微调模型(Instruct)
│
▼ 阶段二:偏好对齐(RLHF / DPO / GRPO)
对齐后模型(Chat / Assistant)
SFT(Supervised Fine-Tuning,监督微调)
定位:微调的第一步,也是最基础的一步。用高质量的「指令-回答」数据对,让模型学会按指令格式响应。
数据格式(以 ChatML 为例):
<|im_start|>system
你是一个专业的代码助手。
<|im_end|>
<|im_start|>user
帮我写一个快速排序。
<|im_end|>
<|im_start|>assistant
def quicksort(arr): ...
<|im_end|>
数据量参考:高质量数据 1,000–10,000 条可见效,10 万条以上效果趋于饱和
工具:transformers Trainer、TRL SFTTrainer、LLaMA-Factory
RLHF(Reinforcement Learning from Human Feedback)
定位:用人类偏好反馈做强化学习的整体框架,GPT-4、Claude 等主流模型都采用此路线。分三步走:
Step 1: SFT → 得到初始指令跟随模型
Step 2: 训练奖励模型 → 人工标注「A 回答比 B 好」,训练 Reward Model(RM)
Step 3: RL 优化 → 用 RM 的打分作为奖励信号,用强化学习算法优化策略模型
└── 算法选项:PPO(通用)/ GRPO(推理任务,见下)
RLHF 与 GRPO 的关系:RLHF 是目标(用人类反馈做强化),PPO 和 GRPO 都是实现这个目标的 RL 算法,GRPO 是 PPO 的替代品,属于 RLHF 框架内部。
优点:对齐效果最好,能有效减少有害输出
缺点:流程复杂,PPO 需维护 4 个模型(策略、参考、奖励、价值),显存占用极大
工具:TRL(PPOTrainer / GRPOTrainer)、OpenRLHF
GRPO(Group Relative Policy Optimization)
定位:RLHF 框架下 PPO 的替代算法,DeepSeek-R1 使用。核心改进是去掉了价值网络,改用组内相对排名打分,显存和计算量大幅降低。
核心思想:对同一个问题采样 N 个答案,组内按质量排名,用相对优劣(而非奖励模型的绝对分)做强化学习信号。
何时选 GRPO 而非 PPO:当任务有明确的验证函数(如数学答案对错、代码能否运行),奖励信号是规则计算出来的,不需要奖励模型打分,此时 GRPO 的简化假设完全成立,效果更稳定。
工具:TRL GRPOTrainer、veRL
DPO(Direct Preference Optimization)
定位:RLHF 的简化替代方案,2023 年提出后迅速流行。无需单独训练奖励模型,直接用偏好对数据(chosen vs rejected)优化策略。
# DPO 数据格式:每条包含同一 prompt 的「好答案」和「坏答案」
{
"prompt": "解释一下量子纠缠",
"chosen": "量子纠缠是...[清晰准确的解释]",
"rejected": "量子纠缠就是...[模糊错误的解释]"
}优点:实现简单,比 RLHF 稳定,资源消耗低,效果接近
缺点:依赖偏好数据质量,对分布外问题泛化性略差
工具:TRL DPOTrainer、LLaMA-Factory
4.3 主流微调工具对比
| 工具 | 定位 | 支持方法 | 上手难度 | 适合人群 |
|---|---|---|---|---|
| LLaMA-Factory | 一站式微调平台,Web UI + 命令行 | SFT / DPO / PPO / GRPO / LoRA / QLoRA | ⭐(最低) | 快速上手,无需写代码 |
| TRL(HuggingFace) | 对齐训练官方库 | SFT / DPO / PPO / GRPO / RLHF | ⭐⭐⭐ | 工程师,需要定制化 |
| Unsloth | 极致速度优化的微调库 | LoRA / QLoRA / SFT / DPO | ⭐⭐ | 资源有限,速度优先 |
| PEFT(HuggingFace) | 参数高效微调统一接口 | LoRA / Prefix / Prompt / IA³ | ⭐⭐⭐ | 研究人员,灵活扩展 |
| Axolotl | 配置驱动的灵活微调框架 | SFT / LoRA / QLoRA / DPO | ⭐⭐ | 工程师,偏好 YAML 配置 |
| OpenRLHF | 大规模 RLHF 训练框架 | PPO / DPO / GRPO / RM 训练 | ⭐⭐⭐⭐ | 算法团队,生产级 RLHF |
4.4 微调方法选型建议
你的需求是什么?
│
├── 让模型学会特定领域知识或指令格式
│ └── SFT(首选)+ LoRA / QLoRA(资源有限时)
│
├── 让模型回答风格更符合人类偏好
│ ├── 资源充足 → RLHF(PPO 算法)
│ └── 资源有限 → DPO(推荐,无需奖励模型,简单高效)
│
├── 增强推理 / 数学 / 代码能力(有明确对错验证函数)
│ └── RLHF(GRPO 算法)→ 规则打分,不需要人工奖励模型
│ (若只有偏好数据而无验证函数,则用 DPO)
│
└── 极端资源限制(单卡 < 16 GB)
└── QLoRA + Unsloth,微调 7B 模型约需 10 GB 显存
五、transformers 的核心定位
transformers(HuggingFace)并非单纯的推理或训练工具,而是整个生态的「接口中枢」与「模型仓库管理员」。
核心价值
- 统一 API:无论 GPT、Llama 还是 BERT,都用
from_pretrained()和.generate()统一调用 - 海量模型生态:几乎所有主流模型发布时都第一时间支持
- 基础能力:内置 PyTorch 实现的注意力计算、训练循环、推理生成逻辑
与其他框架的协作关系
整个生态分为四层:HuggingFace Hub(模型仓库)→ Transformers(接口中枢)→ 三组并列可选后端(微调 / 训练 / 推理,各组内部是「三选一」关系)→ PyTorch(基础运行时)。
注意:并非所有工具都通过 transformers 加载模型。OpenRLHF 用 Ray + vLLM 做分布式;llama.cpp 的 GGUF 格式与 transformers 生态完全独立。
各场景使用策略
| 场景 | 推荐方案 |
|---|---|
| 学习 / 调试 / 快速验证 | 直接用 transformers,简单直观 |
| 单卡微调小模型 | transformers + Trainer,省事够用 |
| 单卡显存不足,微调大模型 | transformers + Unsloth(极简)或 + DeepSpeed(专业) |
| 多卡 / 多机训练千亿模型 | transformers + DeepSpeed ZeRO-3 |
| 生产环境高并发 API | 不要直接用 transformers 的 .generate(),改用 vLLM 或 SGLang |
| 手机 / CPU 离线部署 | llama.cpp(与 transformers 关系不大) |
六、本地工具与统一管理平台
笔记前面讲的都是「给开发者搭建系统的底层引擎 / 训练库」。围绕这些引擎,市面上还有一批「面向终端用户 / 统一管理多模型」的应用层工具。它们多数自身不实现核心推理算法,而是封装上述引擎、加上模型管理、API、UI 等使用层能力。
6.1 应用层工具全景
| 工具 | 定位 | 底层引擎 | 用户画像 | 杀手锏 |
|---|---|---|---|---|
| Ollama | 开发者本地 CLI 工具 | llama.cpp | 个人开发者、本地调试 | ollama run 一行启动,OpenAI 兼容 API |
| LM Studio | 桌面 GUI 应用 | llama.cpp + MLX | 非技术用户、AI 爱好者 | 全图形界面,零代码 |
| Xinference | 多模型聚合管理平台 | vLLM / SGLang / llama.cpp / Transformers 多后端 | 企业内部、RAG / 多模型场景 | 一站式管理 LLM + Embedding + Rerank + 多模态 |
| LocalAI | OpenAI 兼容自托管平台 | llama.cpp / whisper.cpp / SD.cpp 等 | 自托管爱好者、隐私敏感场景 | 完全离线替代 OpenAI,覆盖文 / 图 / 音 |
| NVIDIA Triton | 企业级通用推理服务器 | TensorRT-LLM / vLLM / PyTorch / ONNX 等 | 大型生产部署、MLOps 团队 | 多模型多框架混合部署,K8s / 监控 / 版本管理 |
6.2 终端用户工具:Ollama / LM Studio
核心定位:让个人在自己电脑上「一键玩大模型」,本质是 llama.cpp 的产品化封装。
Ollama
- Go 语言写的「Docker for LLM」:
ollama pull qwen2 && ollama run qwen2 - 自带 OpenAI 兼容的 REST API(默认端口 11434),是本地 Agent 开发首选后端
- 模型仓库托管在 ollama.com,自动下载 GGUF
- 跨平台(Mac / Win / Linux),CPU / GPU 自适应
LM Studio
- Electron 桌面 App,全图形界面
- 内置 HuggingFace 模型搜索 / 下载 / 管理
- 自带 ChatGPT 风格对话窗口,也提供本地 OpenAI 兼容 API
- Mac 上额外支持 MLX(Apple Silicon 原生加速)
⚠️ 不要用 Ollama / LM Studio 做生产服务:它们面向单用户 / 本地调试,不擅长高并发;生产请用 vLLM / SGLang / LMDeploy。
6.3 多模型聚合管理:Xinference / LocalAI
这两者解决的是「一套服务承载多种模型 / 多种模态」的问题——不只 LLM,还要 Embedding、Rerank、TTS、ASR、文生图等。
Xinference(Xorbits Inference,国产)
- 后端可切换:同一个模型可以选 vLLM / SGLang / Transformers / llama.cpp 启动
- 模型类型最全:LLM、Embedding、Rerank、ASR、TTS、图像生成、多模态
- 提供 Web UI 管理界面 + OpenAI 兼容 API + Python SDK
- RAG 场景一站式部署:同一个 Xinference 实例可同时跑 Qwen + BGE Embedding + BGE Rerank
LocalAI
- Go 写的 OpenAI API 替代品(drop-in replacement),主打「换个 BASE_URL 就能从云端切回本地」
- 支持模态最全:文本(llama.cpp)、语音(whisper.cpp / piper)、图像(stable-diffusion.cpp)、向量(sentence-transformers)
- 相比 Xinference 更偏「DIY 自托管」,部署灵活但需要自己拼装
| 对比维度 | Xinference | LocalAI |
|---|---|---|
| 出身 | 国产(Xorbits 团队) | 国际开源社区 |
| 开发语言 | Python | Go |
| 推理后端 | 多后端(含 vLLM / SGLang) | 主要 *.cpp 系列 |
| 性能上限 | 高(可切到 vLLM) | 中(受限于 llama.cpp) |
| Web UI | ✅ 完善 | ⚠️ 简陋 / 第三方 |
| RAG 全栈支持 | ✅ Embedding + Rerank 原生 | ⚠️ 需自己组合 |
| 适合场景 | 企业内部 RAG / Agent 平台 | 个人 / 小团队的 OpenAI 替代 |
6.4 企业级通用模型服务器:NVIDIA Triton
定位:和 vLLM / SGLang 不是同一层级——它是一个能托管前者的「模型服务运行时(Model Serving Runtime)」,类似容器界的 Kubernetes 之于 Docker。
核心能力:
- 多框架后端:同一个 Triton 实例可以同时加载 TensorRT-LLM、vLLM、PyTorch、ONNX、TensorFlow 模型
- 模型仓库管理:版本化加载,支持灰度切换、A/B 测试
- 动态批处理 / 并发模型实例:CPU / GPU 调度精细
- 生产级特性:Prometheus 监控、gRPC + HTTP、模型分析器、K8s Operator
- 多模型混合部署:一台机器同时跑 LLM + 视觉 + 推荐系统
何时该用 Triton:
- 你要部署的不只是 LLM,还有视觉 / 推荐 / 传统 ML 模型,希望统一服务化
- 有专业 MLOps 团队、用 K8s、需要监控 / 灰度
- 已经在用 NVIDIA 全栈(TensorRT-LLM 是 Triton 的 first-class 后端)
何时不要用 Triton:
- 只跑一个 LLM、只追求 throughput → 直接用 vLLM / SGLang / LMDeploy 更省事
- 团队没有 K8s / DevOps 资源 → 配置成本高
生产中常见组合是「Triton + TensorRT-LLM 后端」:Triton 提供企业级服务化能力,TensorRT-LLM 提供极致推理性能。
6.5 工具层 vs 引擎层:分层视图
┌──────────────────────────────────────────────────────────────┐
│ 应用层 / 用户视角 │
│ Ollama │ LM Studio │ Xinference │ LocalAI │ Triton │
└──────┬───────────┬─────────────┬────────────┬──────────┬─────┘
│ │ │ │ │
▼ ▼ ▼ ▼ ▼
┌──────────────────────────────────────────────────────────────┐
│ 推理引擎层(笔记第二章) │
│ llama.cpp │ vLLM │ SGLang │ LMDeploy │ TensorRT-LLM │ TGI │
└─────────────────────────────┬────────────────────────────────┘
▼
┌──────────────────────────────────────────────────────────────┐
│ 训练 / 模型层(笔记第三、四章) │
│ PyTorch + DeepSpeed / Unsloth + LoRA / DPO 等 │
└──────────────────────────────────────────────────────────────┘
一句话总结:
- Ollama / LM Studio =
llama.cpp的产品化封装,给个人用 - Xinference / LocalAI = 多模型多后端聚合,给团队 / 企业内部用
- Triton = NVIDIA 全栈生产部署,给大规模 MLOps 用
它们和笔记前面所有「框架」的关系是 生产端 vs 消费端 / 引擎 vs 整车:底层引擎负责把模型跑起来,应用层工具负责让模型「能被用起来」。
七、选型速查表
| 我的情况 | 微调选 | 训练框架选 | 推理选 |
|---|---|---|---|
| 显卡是 3090 / 4090,显存有限 | QLoRA + SFT | Unsloth | llama.cpp(量化后跑) |
| 公司上线高并发 API | LoRA / DPO | transformers + DeepSpeed | vLLM(稳定)/ SGLang(极致) |
| 8 张 H100,训千亿模型 | 全量 SFT / RLHF | PyTorch + DeepSpeed | TensorRT-LLM |
| 增强推理 / 数学能力 | GRPO / DPO | TRL + DeepSpeed | vLLM / SGLang |
| 让模型对齐偏好,资源有限 | DPO | Unsloth / TRL | vLLM |
| 多轮对话 / Agent / 生成 JSON | SFT + DPO | — | SGLang |
| 模型部署到移动端 / 边缘设备 | QLoRA 微调后量化 | — | llama.cpp |
| 快速实验,无需写代码 | SFT / DPO / LoRA | LLaMA-Factory(Web UI) | TGI |
| 部署 InternLM / Qwen 等国产模型 | LoRA / DPO | TRL + DeepSpeed | LMDeploy(TurboMind 优化深) |
| 个人本地玩 / 替代 ChatGPT 桌面版 | — | — | Ollama(CLI)/ LM Studio(GUI) |
| 企业内部 RAG,需要 LLM + Embedding + Rerank | LoRA | — | Xinference(多模型一站式) |
| 完全离线替代 OpenAI(含 TTS / 图像生成) | — | — | LocalAI |
| 大型生产,多模型混合部署 + K8s 监控 | — | — | Triton + TensorRT-LLM |
💡 选型核心原则:没有最好的框架,只有最合适的框架。根据你的硬件资源(显存大小、GPU 数量)、任务目标(指令跟随 / 偏好对齐 / 推理增强)、业务场景(并发量、对话轮数、是否需要 JSON 输出)和工程成本(部署复杂度、社区成熟度)综合权衡。