多模态模型架构进化树
🚀 多模态模型架构进化树
🌱 早期探索阶段 (2021)
CLIP
2021.01
OpenAI
🔧 核心技术:
- 对比学习: 图像-文本对的双塔架构
- 大规模数据: 4亿图文对训练
- InfoNCE损失: 最大化正样本相似度
- Vision Transformer + Text Transformer
- 零样本迁移能力
对比学习
双塔结构
零样本
DALL-E
2021.01
OpenAI
🔧 核心技术:
- dVAE: 离散变分自编码器
- 自回归Transformer: 120亿参数
- 文本-图像token联合建模
- 图像token化为8192个离散token
- 序列到序列生成范式
自回归
离散token
⚡ Diffusion革命 (2022)
DALL-E 2
2022.04
OpenAI
🔧 核心技术:
- unCLIP架构: CLIP + Diffusion
- Prior网络: 文本→图像embedding映射
- 扩散解码器: 从embedding生成图像
- 级联超分辨率: 64×64 → 256×256 → 1024×1024
- CLIP guidance提升生成质量
Diffusion
Prior
级联
Stable Diffusion
2022.08
Stability AI
🔧 核心技术:
- Latent Diffusion: 在VAE潜空间扩散
- Cross-Attention: 文本条件注入
- U-Net架构: ResNet + Attention blocks
- CLIP文本编码器: 条件嵌入
- DDPM/DDIM采样: 降低推理步数
- 开源模型: 降低计算成本
Latent Space
Cross-Attention
开源
Imagen
2022.05
Google Research
🔧 核心技术:
- T5文本编码器: 大语言模型条件
- Efficient U-Net: 优化的噪声预测网络
- 级联扩散: 64→256→1024分辨率
- 动态阈值技术: 防止颜色饱和
- Classifier-free guidance强化
- 无需CLIP的纯文本条件
T5
级联扩散
动态阈值
🔮 统一架构时代 (2023)
DALL-E 3
2023.09
OpenAI
🔧 核心技术:
- Caption改进: 使用GPT-4生成详细描述
- 提示重写: 自动扩展用户提示词
- 文本渲染: 改进图像内文字生成
- 高保真度: 更准确理解复杂提示
- 安全性增强: 有害内容过滤
GPT-4
提示重写
高保真
SDXL
2023.07
Stability AI
🔧 核心技术:
- 更大U-Net: 3倍参数量提升
- 双文本编码器: CLIP + OpenCLIP
- Refiner模型: 二阶段细化
- 条件增强: 尺寸、裁剪参数条件化
- 微调时间步策略: 改进训练稳定性
- 原生1024×1024分辨率
双编码器
Refiner
高分辨率
Flamingo
2022.04
DeepMind
🔧 核心技术:
- 交叉注意力层: 冻结LM + 可训练适配器
- Perceiver Resampler: 视觉特征压缩
- Few-shot学习: 上下文示例
- 视觉-语言交错数据训练
- 冻结预训练模型: 高效适配
Few-shot
Perceiver
适配器
LLaVA
2023.04
Microsoft/UW
🔧 核心技术:
- 简单投影层: CLIP视觉→LLM
- GPT-4生成数据: 高质量指令数据
- 两阶段训练: 预训练+指令微调
- Vicuna-13B作为语言模型
- 开源数据和模型
简单高效
GPT-4数据
开源
🌟 新一代多模态 (2024-2025)
GPT-4V
2023.09
OpenAI
🔧 核心技术:
- 端到端训练: 视觉-语言联合优化
- 高分辨率处理: 动态图像分块
- 多图理解: 跨图像推理
- 强大的OCR和图表理解能力
- 详细视觉推理能力
端到端
高分辨率
多图推理
Gemini
2023.12
Google DeepMind
🔧 核心技术:
- 原生多模态: 从头训练多模态
- 统一架构: 文本/图像/音频/视频
- 长上下文: 支持长视频理解
- 多模态思维链推理
- 跨模态知识整合
原生多模态
统一架构
长上下文
Stable Diffusion 3
2024.02
Stability AI
🔧 核心技术:
- Diffusion Transformer (DiT): 替代U-Net
- Flow Matching: 改进的训练目标
- MMDiT架构: 多模态联合注意力
- 三编码器: CLIP-L + CLIP-G + T5-XXL
- 改进的文本渲染能力
- 更好的提示遵循
DiT
Flow Matching
三编码器
Sora
2024.02
OpenAI
🔧 核心技术:
- Spacetime Patches: 视频时空token化
- Diffusion Transformer: 扩展到视频
- 可变分辨率: 原生宽高比支持
- 长时序建模: 最长60秒视频
- 3D一致性: 物理世界模拟
- 摄像机控制: 运镜理解
视频生成
时空建模
世界模型
Claude 3
2024.03
Anthropic
🔧 核心技术:
- 宪法AI: 多模态对齐
- 视觉理解: 图表、代码、手写识别
- 长文档: 多图像处理
- 细粒度视觉推理
- 安全性优先设计
宪法AI
安全对齐
细粒度推理
📊 技术演进趋势
- 🔹 架构演进: 自回归 → Diffusion → Transformer (DiT)
- 🔹 训练方式: 对比学习 → 生成式 → 统一多模态
- 🔹 模态融合: 后融合 → 交叉注意力 → 原生多模态
- 🔹 条件控制: 简单文本 → 复杂提示 → 多模态条件
- 🔹 扩展性: 图像 → 视频 → 世界模型