大模型训练与推理框架全景对比

目前主流的大模型框架已形成清晰的「训练派」与「推理派」格局:训练框架主打灵活和分布式扩展,推理框架则追求极致的速度和显存效率。微调技术栈则在两者之间扮演关键角色——让通用基座模型低成本地适配具体任务。


一、框架全景速览

类别框架 / 技术一句话定位硬件依赖
训练基础PyTorch研究首选,LLM 开发的事实标准,生态最完善CUDA + Python
DeepSpeed千亿/万亿级超大模型训练「核武器」,解决显存不足问题多机多卡(NCCL)+ Linux
Unsloth个人开发者单卡神器,训练速度比标准快 2–5 倍,极省显存RTX 3060+,22 GB+ 显存
微调方法PEFT / LoRA参数高效微调的主流方案,只训练少量适配器参数单卡即可
QLoRALoRA + 4-bit 量化,极限压缩显存,消费级 GPU 微调大模型单卡 16 GB+
SFT监督微调,用高质量指令数据让模型学会「听话」视模型大小而定
RLHF / PPO从人类反馈中强化学习,对齐人类偏好的「终极方案」需多卡,资源密集
DPORLHF 的简化替代,直接用偏好数据优化,无需训练奖励模型资源需求低于 RLHF
推理引擎vLLM当前最流行的通用推理引擎,兼顾高性能与易用性NVIDIA / AMD GPU,CUDA 12+
SGLang后起之秀,多轮对话 / 结构化输出场景性能超越 vLLMNVIDIA GPU(A100 / H100 更佳)
TensorRT-LLM性能冠军(NVIDIA 卡),但部署复杂,需模型格式转换仅限 NVIDIA GPU
LMDeploy上海 AI Lab 出品,TurboMind 引擎,国产模型(InternLM / Qwen)优化深入NVIDIA GPU
llama.cppCPU 运行大模型,本地离线 / 边缘设备首选仅需 CPU / Apple Silicon
TGIHuggingFace 官方出品,生态无缝集成,开箱即用Rust 环境 + Docker
应用层工具Ollama命令行一键运行 GGUF,开发者本地首选CPU / GPU 全平台
LM Studio图形化桌面 App,零代码使用,非技术用户友好CPU / GPU 全平台
Xinference多模型类型聚合(LLM / Embedding / Rerank / 多模态),多后端可切换CPU / GPU 全平台
LocalAIOpenAI API 兼容的自托管平台,覆盖文 / 图 / 音多模态CPU / GPU 全平台
Triton Inference ServerNVIDIA 企业级通用推理服务器,可托管 TRT-LLM / vLLM 等多引擎主要 NVIDIA GPU

二、推理框架深度对比

2.1 核心技术原理

vLLM(UC Berkeley)

  • 首创 PagedAttention 技术,借鉴操作系统虚拟内存与分页思想
  • 有效解决 KV Cache 碎片化问题,显存利用率可达 90%+
  • 允许在相同显存下处理更多并发请求

SGLang(LMSYS)

  • 提出 RadixAttention(基数树结构),实现自动前缀缓存复用
  • 在多轮对话、长文档问答等场景中,可自动复用已计算的 KV 值,避免重复计算
  • 原生支持结构化输出(JSON),通过正则约束实现

TensorRT-LLM(NVIDIA)

  • 采用内核融合与计算图优化,对 NVIDIA 硬件做极致榨取
  • 性能最强,但模型需转换为专用 .engine 格式,部署流程复杂

LMDeploy(上海 AI Lab)

  • 自研 TurboMind C++ 推理引擎,从 FasterTransformer 演进而来
  • 支持 W4A16 / KV INT8 量化,大模型显存占用低,国产模型(InternLM / Qwen 系列)适配最深
  • 在 Qwen 等模型场景下吞吐量与 vLLM 相当或略胜,是国产开源生态首选

llama.cpp

  • 核心是 GGUF 量化技术
  • 能让大模型在纯 CPU、甚至树莓派上运行

TGI(HuggingFace)

  • 支持 Continuous Batching 与多种量化格式
  • 对 SafeTensors 等 HF 原生格式有最佳兼容性

2.2 实测性能对比

以下数据来自阿里云等平台的公开测试(模型:Qwen-7B,硬件:A100)

指标vLLMSGLangLMDeployTensorRT-LLM
吞吐量(tokens/s)~2,000–3,000~3,500–4,500(高 20%–50%)~3,000–4,500(Qwen 等模型领先 vLLM)~4,000–5,000(最高)
首字延迟 TTFT基准优化 20%–50%较低最低
显存占用(长文本)较低(PagedAttention)较低(动态复用)低(W4A16 + KV INT8)最低(配合量化)
多轮对话场景好极好(前缀缓存优势明显)好好
结构化生成(JSON)一般(需后处理)原生支持(正则约束)一般不支持
国产模型适配通用通用InternLM / Qwen 优化最佳需手动转换
部署复杂度低低低高(需转 engine)

2.3 推理框架选型建议

场景推荐框架理由
追求极致性能 + NVIDIA A100 / H100TensorRT-LLM性能最强,但需接受复杂的模型转换流程
通用生产环境 + 高并发 / 高吞吐vLLM社区最成熟,综合性能强,问题易排查
多轮对话 / Agent / 需要生成 JSONSGLangRadixAttention 在重复前缀场景优势巨大,原生结构化输出
部署 InternLM / Qwen 等国产模型LMDeployTurboMind 对国产模型优化深入,量化方案成熟,性能稳定
CPU 运行 / Apple Silicon / 边缘设备llama.cpp唯一无需 GPU 的高效方案
HuggingFace 生态优先 / 快速上线TGI开箱即用,与 HF Hub 无缝集成

三、训练与微调框架定位

目前最主流的训练组合是 PyTorch + DeepSpeed。

PyTorch

大模型时代的「通用语言」,几乎所有新模型(HuggingFace Transformers)都原生支持。适用于:

  • 研究实验与快速验证想法
  • 单卡训练小型模型
  • 与其他框架配合使用的基础层

DeepSpeed(Microsoft)

专门解决「显存装不下整个模型」问题的分布式训练框架。核心技术:

  • ZeRO 优化器(Zero Redundancy Optimizer):将模型参数、梯度、优化器状态分片存储,让千亿参数模型的训练成为可能
  • 支持 ZeRO Stage 1 / 2 / 3,逐级增强显存节省效果

FSDP(PyTorch 原生)

FSDP(Fully Sharded Data Parallel)是 PyTorch 内置的分布式训练方案,功能定位与 DeepSpeed ZeRO 类似:把模型参数、梯度、优化器状态全部分片到多张卡,每张卡只持有一份分片,显存占用大幅下降。

对比维度DeepSpeedFSDP
归属Microsoft 开源PyTorch 原生内置
功能丰富度更全(Offload、MoE 等)较基础但够用
安装依赖需单独安装无需额外依赖
适合场景超大规模生产训练追求简洁、原生集成

Unsloth

面向资源有限场景的高效微调工具。特点:

  • 通过定制 Triton 内核,在 QLoRA 微调场景下速度提升 2–5 倍
  • 显存占用大幅降低,单张 RTX 3090/4090 即可微调 7B–13B 模型
  • 适合个人开发者和小团队

四、微调技术栈详解

微调是让通用基座模型(Base Model)适配具体业务的核心手段。技术上分为两个维度:「怎么训」(参数效率)和「训什么目标」(对齐方式)。


4.1 参数高效微调(PEFT)方法体系

全量微调(Full Fine-tuning)虽然效果最好,但需要与预训练相当的显存,成本极高。PEFT(Parameter-Efficient Fine-Tuning)技术通过只更新少量参数来大幅降低资源门槛。

LoRA(Low-Rank Adaptation)

核心思想:在原始权重矩阵旁边插入一个低秩分解的「旁路适配器」,训练时只更新适配器,推理时将其合并回原始权重,无额外延迟。

原始权重 W(冻结)
    +
低秩矩阵 A × B(可训练,参数量仅为原来的 0.1%–1%)
    ↓
W' = W + α · (A × B)   # 推理时合并,零开销

关键超参数:

  • r(秩):越大表达能力越强,显存也越高,常用值 8 / 16 / 32 / 64

  • lora_alpha:缩放系数,通常设为 r 的 2 倍

  • target_modules:指定应用 LoRA 的投影矩阵。每个 Attention 层有四个线性投影:

    • q_proj — Query,查询投影
    • k_proj — Key,键投影
    • v_proj — Value,值投影
    • o_proj — Output,多头注意力的输出合并投影(把多个注意力头的结果拼接后映射回隐层维度)

    最小配置选 q_proj + v_proj(显存最省),加入 o_proj 和 k_proj 效果更好但显存更高

优点:显存节省 60%–80%,训练速度快,多任务可切换适配器
缺点:对需要深度改变模型行为的任务效果略逊于全量微调

QLoRA(Quantized LoRA)

核心思想:在 LoRA 基础上,将基座模型量化为 4-bit NF4 格式加载,进一步压缩显存。训练时动态反量化到 BF16 精度计算梯度,只有 LoRA 适配器保持 BF16 精度可训练。

精度说明:

  • FP32(32-bit)= 全精度,标准训练精度
  • BF16(16-bit Brain Float)= 半精度,指数位与 FP32 相同(动态范围不损失),尾数位少,训练中广泛使用
  • NF4(Normal Float 4)= 4-bit 量化格式,由 bitsandbytes 库提出,专为正态分布的模型权重设计,量化误差比普通 INT4 更小

QLoRA 的精度组合:基座权重用 NF4(极省显存)→ 计算时动态反量化到 BF16(速度与精度的平衡)→ LoRA 适配器始终保持 BF16 参与梯度更新

基座模型:NF4 4-bit 量化(显存极小,约为 FP16 的 1/4)
LoRA 适配器:BF16 半精度(可训练)
计算时:NF4 → BF16 动态反量化(逐块,不影响显存上限)
= 单张 24 GB 显卡可微调 70B 模型

典型显存需求:

模型规模全量微调LoRAQLoRA
7B~80 GB~40 GB~10 GB
13B~160 GB~80 GB~16 GB
70B~800 GB~400 GB~48 GB

其他 PEFT 方法

LoRA 也是 Adapter 的一种吗? 广义上是的,但业界通常把「Adapter」专指下表中的串联式结构(Houlsby Adapter),LoRA 是并联式旁路结构,两者的关键区别在于推理开销:

方法插入方式推理延迟原理适用场景
Adapter(串联)在层内串联 MLP 模块有延迟(推理必经此路)输入→Adapter→输出,无法合并研究场景,可热插拔多任务
LoRA(并联)在权重旁并联低秩矩阵零延迟(推理时可合并进原始权重)W’ = W + A×B,合并后无痕工程落地主流方案
Prefix Tuning输入前拼接可学习软提示向量轻微(序列变长)影响注意力分布,不改权重参数量极少,效果不如 LoRA 稳定
Prompt Tuning仅在 Embedding 层加可学习 token极小Prefix Tuning 的简化版超大模型(100B+)的轻量适配
IA³学习缩放向量调整激活值几乎无乘法缩放,参数量比 LoRA 更少极端资源受限场景

PEFT 库(HuggingFace)

peft 是 HuggingFace 提供的统一 PEFT 实现库,几行代码即可启用 LoRA:

from peft import get_peft_model, LoraConfig, TaskType
 
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    task_type=TaskType.CAUSAL_LM
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920 || trainable%: 0.06%

4.2 微调目标与对齐方法

参数效率解决「怎么训」,对齐方法解决「训什么」。从基座模型到能用的助手模型,通常经历以下阶段:

预训练基座模型(Base)
    │
    ▼ 阶段一:SFT(监督微调)
指令微调模型(Instruct)
    │
    ▼ 阶段二:偏好对齐(RLHF / DPO / GRPO)
对齐后模型(Chat / Assistant)

SFT(Supervised Fine-Tuning,监督微调)

定位:微调的第一步,也是最基础的一步。用高质量的「指令-回答」数据对,让模型学会按指令格式响应。

数据格式(以 ChatML 为例):

<|im_start|>system
你是一个专业的代码助手。
<|im_end|>
<|im_start|>user
帮我写一个快速排序。
<|im_end|>
<|im_start|>assistant
def quicksort(arr): ...
<|im_end|>

数据量参考:高质量数据 1,000–10,000 条可见效,10 万条以上效果趋于饱和
工具:transformers Trainer、TRL SFTTrainer、LLaMA-Factory

RLHF(Reinforcement Learning from Human Feedback)

定位:用人类偏好反馈做强化学习的整体框架,GPT-4、Claude 等主流模型都采用此路线。分三步走:

Step 1: SFT          → 得到初始指令跟随模型
Step 2: 训练奖励模型   → 人工标注「A 回答比 B 好」,训练 Reward Model(RM)
Step 3: RL 优化       → 用 RM 的打分作为奖励信号,用强化学习算法优化策略模型
                         └── 算法选项:PPO(通用)/ GRPO(推理任务,见下)

RLHF 与 GRPO 的关系:RLHF 是目标(用人类反馈做强化),PPO 和 GRPO 都是实现这个目标的 RL 算法,GRPO 是 PPO 的替代品,属于 RLHF 框架内部。

优点:对齐效果最好,能有效减少有害输出
缺点:流程复杂,PPO 需维护 4 个模型(策略、参考、奖励、价值),显存占用极大
工具:TRL(PPOTrainer / GRPOTrainer)、OpenRLHF

GRPO(Group Relative Policy Optimization)

定位:RLHF 框架下 PPO 的替代算法,DeepSeek-R1 使用。核心改进是去掉了价值网络,改用组内相对排名打分,显存和计算量大幅降低。

核心思想:对同一个问题采样 N 个答案,组内按质量排名,用相对优劣(而非奖励模型的绝对分)做强化学习信号。

何时选 GRPO 而非 PPO:当任务有明确的验证函数(如数学答案对错、代码能否运行),奖励信号是规则计算出来的,不需要奖励模型打分,此时 GRPO 的简化假设完全成立,效果更稳定。
工具:TRL GRPOTrainer、veRL

DPO(Direct Preference Optimization)

定位:RLHF 的简化替代方案,2023 年提出后迅速流行。无需单独训练奖励模型,直接用偏好对数据(chosen vs rejected)优化策略。

# DPO 数据格式:每条包含同一 prompt 的「好答案」和「坏答案」
{
  "prompt": "解释一下量子纠缠",
  "chosen": "量子纠缠是...[清晰准确的解释]",
  "rejected": "量子纠缠就是...[模糊错误的解释]"
}

优点:实现简单,比 RLHF 稳定,资源消耗低,效果接近
缺点:依赖偏好数据质量,对分布外问题泛化性略差
工具:TRL DPOTrainer、LLaMA-Factory


4.3 主流微调工具对比

工具定位支持方法上手难度适合人群
LLaMA-Factory一站式微调平台,Web UI + 命令行SFT / DPO / PPO / GRPO / LoRA / QLoRA⭐(最低)快速上手,无需写代码
TRL(HuggingFace)对齐训练官方库SFT / DPO / PPO / GRPO / RLHF⭐⭐⭐工程师,需要定制化
Unsloth极致速度优化的微调库LoRA / QLoRA / SFT / DPO⭐⭐资源有限,速度优先
PEFT(HuggingFace)参数高效微调统一接口LoRA / Prefix / Prompt / IA³⭐⭐⭐研究人员,灵活扩展
Axolotl配置驱动的灵活微调框架SFT / LoRA / QLoRA / DPO⭐⭐工程师,偏好 YAML 配置
OpenRLHF大规模 RLHF 训练框架PPO / DPO / GRPO / RM 训练⭐⭐⭐⭐算法团队,生产级 RLHF

4.4 微调方法选型建议

你的需求是什么?
│
├── 让模型学会特定领域知识或指令格式
│       └── SFT(首选)+ LoRA / QLoRA(资源有限时)
│
├── 让模型回答风格更符合人类偏好
│       ├── 资源充足 → RLHF(PPO 算法)
│       └── 资源有限 → DPO(推荐,无需奖励模型,简单高效)
│
├── 增强推理 / 数学 / 代码能力(有明确对错验证函数)
│       └── RLHF(GRPO 算法)→ 规则打分,不需要人工奖励模型
│           (若只有偏好数据而无验证函数,则用 DPO)
│
└── 极端资源限制(单卡 < 16 GB)
        └── QLoRA + Unsloth,微调 7B 模型约需 10 GB 显存

五、transformers 的核心定位

transformers(HuggingFace)并非单纯的推理或训练工具,而是整个生态的「接口中枢」与「模型仓库管理员」。

核心价值

  • 统一 API:无论 GPT、Llama 还是 BERT,都用 from_pretrained() 和 .generate() 统一调用
  • 海量模型生态:几乎所有主流模型发布时都第一时间支持
  • 基础能力:内置 PyTorch 实现的注意力计算、训练循环、推理生成逻辑

与其他框架的协作关系

整个生态分为四层:HuggingFace Hub(模型仓库)→ Transformers(接口中枢)→ 三组并列可选后端(微调 / 训练 / 推理,各组内部是「三选一」关系)→ PyTorch(基础运行时)。

注意:并非所有工具都通过 transformers 加载模型。OpenRLHF 用 Ray + vLLM 做分布式;llama.cpp 的 GGUF 格式与 transformers 生态完全独立。

Transformers 生态协作关系图

各场景使用策略

场景推荐方案
学习 / 调试 / 快速验证直接用 transformers,简单直观
单卡微调小模型transformers + Trainer,省事够用
单卡显存不足,微调大模型transformers + Unsloth(极简)或 + DeepSpeed(专业)
多卡 / 多机训练千亿模型transformers + DeepSpeed ZeRO-3
生产环境高并发 API不要直接用 transformers 的 .generate(),改用 vLLM 或 SGLang
手机 / CPU 离线部署llama.cpp(与 transformers 关系不大)

六、本地工具与统一管理平台

笔记前面讲的都是「给开发者搭建系统的底层引擎 / 训练库」。围绕这些引擎,市面上还有一批「面向终端用户 / 统一管理多模型」的应用层工具。它们多数自身不实现核心推理算法,而是封装上述引擎、加上模型管理、API、UI 等使用层能力。

6.1 应用层工具全景

工具定位底层引擎用户画像杀手锏
Ollama开发者本地 CLI 工具llama.cpp个人开发者、本地调试ollama run 一行启动,OpenAI 兼容 API
LM Studio桌面 GUI 应用llama.cpp + MLX非技术用户、AI 爱好者全图形界面,零代码
Xinference多模型聚合管理平台vLLM / SGLang / llama.cpp / Transformers 多后端企业内部、RAG / 多模型场景一站式管理 LLM + Embedding + Rerank + 多模态
LocalAIOpenAI 兼容自托管平台llama.cpp / whisper.cpp / SD.cpp 等自托管爱好者、隐私敏感场景完全离线替代 OpenAI,覆盖文 / 图 / 音
NVIDIA Triton企业级通用推理服务器TensorRT-LLM / vLLM / PyTorch / ONNX 等大型生产部署、MLOps 团队多模型多框架混合部署,K8s / 监控 / 版本管理

6.2 终端用户工具:Ollama / LM Studio

核心定位:让个人在自己电脑上「一键玩大模型」,本质是 llama.cpp 的产品化封装。

Ollama

  • Go 语言写的「Docker for LLM」:ollama pull qwen2 && ollama run qwen2
  • 自带 OpenAI 兼容的 REST API(默认端口 11434),是本地 Agent 开发首选后端
  • 模型仓库托管在 ollama.com,自动下载 GGUF
  • 跨平台(Mac / Win / Linux),CPU / GPU 自适应

LM Studio

  • Electron 桌面 App,全图形界面
  • 内置 HuggingFace 模型搜索 / 下载 / 管理
  • 自带 ChatGPT 风格对话窗口,也提供本地 OpenAI 兼容 API
  • Mac 上额外支持 MLX(Apple Silicon 原生加速)

⚠️ 不要用 Ollama / LM Studio 做生产服务:它们面向单用户 / 本地调试,不擅长高并发;生产请用 vLLM / SGLang / LMDeploy。


6.3 多模型聚合管理:Xinference / LocalAI

这两者解决的是「一套服务承载多种模型 / 多种模态」的问题——不只 LLM,还要 Embedding、Rerank、TTS、ASR、文生图等。

Xinference(Xorbits Inference,国产)

  • 后端可切换:同一个模型可以选 vLLM / SGLang / Transformers / llama.cpp 启动
  • 模型类型最全:LLM、Embedding、Rerank、ASR、TTS、图像生成、多模态
  • 提供 Web UI 管理界面 + OpenAI 兼容 API + Python SDK
  • RAG 场景一站式部署:同一个 Xinference 实例可同时跑 Qwen + BGE Embedding + BGE Rerank

LocalAI

  • Go 写的 OpenAI API 替代品(drop-in replacement),主打「换个 BASE_URL 就能从云端切回本地」
  • 支持模态最全:文本(llama.cpp)、语音(whisper.cpp / piper)、图像(stable-diffusion.cpp)、向量(sentence-transformers)
  • 相比 Xinference 更偏「DIY 自托管」,部署灵活但需要自己拼装
对比维度XinferenceLocalAI
出身国产(Xorbits 团队)国际开源社区
开发语言PythonGo
推理后端多后端(含 vLLM / SGLang)主要 *.cpp 系列
性能上限高(可切到 vLLM)中(受限于 llama.cpp)
Web UI✅ 完善⚠️ 简陋 / 第三方
RAG 全栈支持✅ Embedding + Rerank 原生⚠️ 需自己组合
适合场景企业内部 RAG / Agent 平台个人 / 小团队的 OpenAI 替代

6.4 企业级通用模型服务器:NVIDIA Triton

定位:和 vLLM / SGLang 不是同一层级——它是一个能托管前者的「模型服务运行时(Model Serving Runtime)」,类似容器界的 Kubernetes 之于 Docker。

核心能力:

  • 多框架后端:同一个 Triton 实例可以同时加载 TensorRT-LLM、vLLM、PyTorch、ONNX、TensorFlow 模型
  • 模型仓库管理:版本化加载,支持灰度切换、A/B 测试
  • 动态批处理 / 并发模型实例:CPU / GPU 调度精细
  • 生产级特性:Prometheus 监控、gRPC + HTTP、模型分析器、K8s Operator
  • 多模型混合部署:一台机器同时跑 LLM + 视觉 + 推荐系统

何时该用 Triton:

  • 你要部署的不只是 LLM,还有视觉 / 推荐 / 传统 ML 模型,希望统一服务化
  • 有专业 MLOps 团队、用 K8s、需要监控 / 灰度
  • 已经在用 NVIDIA 全栈(TensorRT-LLM 是 Triton 的 first-class 后端)

何时不要用 Triton:

  • 只跑一个 LLM、只追求 throughput → 直接用 vLLM / SGLang / LMDeploy 更省事
  • 团队没有 K8s / DevOps 资源 → 配置成本高

生产中常见组合是「Triton + TensorRT-LLM 后端」:Triton 提供企业级服务化能力,TensorRT-LLM 提供极致推理性能。


6.5 工具层 vs 引擎层:分层视图

┌──────────────────────────────────────────────────────────────┐
│ 应用层 / 用户视角                                              │
│  Ollama  │  LM Studio  │  Xinference  │  LocalAI  │  Triton   │
└──────┬───────────┬─────────────┬────────────┬──────────┬─────┘
       │           │             │            │          │
       ▼           ▼             ▼            ▼          ▼
┌──────────────────────────────────────────────────────────────┐
│ 推理引擎层(笔记第二章)                                        │
│   llama.cpp │ vLLM │ SGLang │ LMDeploy │ TensorRT-LLM │ TGI    │
└─────────────────────────────┬────────────────────────────────┘
                              ▼
┌──────────────────────────────────────────────────────────────┐
│ 训练 / 模型层(笔记第三、四章)                                 │
│       PyTorch + DeepSpeed / Unsloth + LoRA / DPO 等             │
└──────────────────────────────────────────────────────────────┘

一句话总结:

  • Ollama / LM Studio = llama.cpp 的产品化封装,给个人用
  • Xinference / LocalAI = 多模型多后端聚合,给团队 / 企业内部用
  • Triton = NVIDIA 全栈生产部署,给大规模 MLOps 用

它们和笔记前面所有「框架」的关系是 生产端 vs 消费端 / 引擎 vs 整车:底层引擎负责把模型跑起来,应用层工具负责让模型「能被用起来」。


七、选型速查表

我的情况微调选训练框架选推理选
显卡是 3090 / 4090,显存有限QLoRA + SFTUnslothllama.cpp(量化后跑)
公司上线高并发 APILoRA / DPOtransformers + DeepSpeedvLLM(稳定)/ SGLang(极致)
8 张 H100,训千亿模型全量 SFT / RLHFPyTorch + DeepSpeedTensorRT-LLM
增强推理 / 数学能力GRPO / DPOTRL + DeepSpeedvLLM / SGLang
让模型对齐偏好,资源有限DPOUnsloth / TRLvLLM
多轮对话 / Agent / 生成 JSONSFT + DPO—SGLang
模型部署到移动端 / 边缘设备QLoRA 微调后量化—llama.cpp
快速实验,无需写代码SFT / DPO / LoRALLaMA-Factory(Web UI)TGI
部署 InternLM / Qwen 等国产模型LoRA / DPOTRL + DeepSpeedLMDeploy(TurboMind 优化深)
个人本地玩 / 替代 ChatGPT 桌面版——Ollama(CLI)/ LM Studio(GUI)
企业内部 RAG,需要 LLM + Embedding + RerankLoRA—Xinference(多模型一站式)
完全离线替代 OpenAI(含 TTS / 图像生成)——LocalAI
大型生产,多模型混合部署 + K8s 监控——Triton + TensorRT-LLM

💡 选型核心原则:没有最好的框架,只有最合适的框架。根据你的硬件资源(显存大小、GPU 数量)、任务目标(指令跟随 / 偏好对齐 / 推理增强)、业务场景(并发量、对话轮数、是否需要 JSON 输出)和工程成本(部署复杂度、社区成熟度)综合权衡。