多模态模型架构进化树

🚀 多模态模型架构进化树

🌱 早期探索阶段 (2021)

CLIP
2021.01

OpenAI

🔧 核心技术:

  • 对比学习: 图像-文本对的双塔架构
  • 大规模数据: 4亿图文对训练
  • InfoNCE损失: 最大化正样本相似度
  • Vision Transformer + Text Transformer
  • 零样本迁移能力

对比学习
双塔结构
零样本

DALL-E
2021.01

OpenAI

🔧 核心技术:

  • dVAE: 离散变分自编码器
  • 自回归Transformer: 120亿参数
  • 文本-图像token联合建模
  • 图像token化为8192个离散token
  • 序列到序列生成范式

自回归
离散token

⚡ Diffusion革命 (2022)

DALL-E 2
2022.04

OpenAI

🔧 核心技术:

  • unCLIP架构: CLIP + Diffusion
  • Prior网络: 文本→图像embedding映射
  • 扩散解码器: 从embedding生成图像
  • 级联超分辨率: 64×64 → 256×256 → 1024×1024
  • CLIP guidance提升生成质量

Diffusion
Prior
级联

Stable Diffusion
2022.08

Stability AI

🔧 核心技术:

  • Latent Diffusion: 在VAE潜空间扩散
  • Cross-Attention: 文本条件注入
  • U-Net架构: ResNet + Attention blocks
  • CLIP文本编码器: 条件嵌入
  • DDPM/DDIM采样: 降低推理步数
  • 开源模型: 降低计算成本

Latent Space
Cross-Attention
开源

Imagen
2022.05

Google Research

🔧 核心技术:

  • T5文本编码器: 大语言模型条件
  • Efficient U-Net: 优化的噪声预测网络
  • 级联扩散: 64→256→1024分辨率
  • 动态阈值技术: 防止颜色饱和
  • Classifier-free guidance强化
  • 无需CLIP的纯文本条件

T5
级联扩散
动态阈值

🔮 统一架构时代 (2023)

DALL-E 3
2023.09

OpenAI

🔧 核心技术:

  • Caption改进: 使用GPT-4生成详细描述
  • 提示重写: 自动扩展用户提示词
  • 文本渲染: 改进图像内文字生成
  • 高保真度: 更准确理解复杂提示
  • 安全性增强: 有害内容过滤

GPT-4
提示重写
高保真

SDXL
2023.07

Stability AI

🔧 核心技术:

  • 更大U-Net: 3倍参数量提升
  • 双文本编码器: CLIP + OpenCLIP
  • Refiner模型: 二阶段细化
  • 条件增强: 尺寸、裁剪参数条件化
  • 微调时间步策略: 改进训练稳定性
  • 原生1024×1024分辨率

双编码器
Refiner
高分辨率

Flamingo
2022.04

DeepMind

🔧 核心技术:

  • 交叉注意力层: 冻结LM + 可训练适配器
  • Perceiver Resampler: 视觉特征压缩
  • Few-shot学习: 上下文示例
  • 视觉-语言交错数据训练
  • 冻结预训练模型: 高效适配

Few-shot
Perceiver
适配器

LLaVA
2023.04

Microsoft/UW

🔧 核心技术:

  • 简单投影层: CLIP视觉→LLM
  • GPT-4生成数据: 高质量指令数据
  • 两阶段训练: 预训练+指令微调
  • Vicuna-13B作为语言模型
  • 开源数据和模型

简单高效
GPT-4数据
开源

🌟 新一代多模态 (2024-2025)

GPT-4V
2023.09

OpenAI

🔧 核心技术:

  • 端到端训练: 视觉-语言联合优化
  • 高分辨率处理: 动态图像分块
  • 多图理解: 跨图像推理
  • 强大的OCR和图表理解能力
  • 详细视觉推理能力

端到端
高分辨率
多图推理

Gemini
2023.12

Google DeepMind

🔧 核心技术:

  • 原生多模态: 从头训练多模态
  • 统一架构: 文本/图像/音频/视频
  • 长上下文: 支持长视频理解
  • 多模态思维链推理
  • 跨模态知识整合

原生多模态
统一架构
长上下文

Stable Diffusion 3
2024.02

Stability AI

🔧 核心技术:

  • Diffusion Transformer (DiT): 替代U-Net
  • Flow Matching: 改进的训练目标
  • MMDiT架构: 多模态联合注意力
  • 三编码器: CLIP-L + CLIP-G + T5-XXL
  • 改进的文本渲染能力
  • 更好的提示遵循

DiT
Flow Matching
三编码器

Sora
2024.02

OpenAI

🔧 核心技术:

  • Spacetime Patches: 视频时空token化
  • Diffusion Transformer: 扩展到视频
  • 可变分辨率: 原生宽高比支持
  • 长时序建模: 最长60秒视频
  • 3D一致性: 物理世界模拟
  • 摄像机控制: 运镜理解

视频生成
时空建模
世界模型

Claude 3
2024.03

Anthropic

🔧 核心技术:

  • 宪法AI: 多模态对齐
  • 视觉理解: 图表、代码、手写识别
  • 长文档: 多图像处理
  • 细粒度视觉推理
  • 安全性优先设计

宪法AI
安全对齐
细粒度推理

📊 技术演进趋势

  • 🔹 架构演进: 自回归 → Diffusion → Transformer (DiT)
  • 🔹 训练方式: 对比学习 → 生成式 → 统一多模态
  • 🔹 模态融合: 后融合 → 交叉注意力 → 原生多模态
  • 🔹 条件控制: 简单文本 → 复杂提示 → 多模态条件
  • 🔹 扩展性: 图像 → 视频 → 世界模型