BERT 模型家族进化树(交互工具)
这是一个交互式 HTML 进化树,展示 BERT 家族的演进脉络。
工具内容
从预训练语言模型到领域专用优化的完整演进历程,按 5 条技术线组织:
- 基础架构:BERT → RoBERTa
- 训练优化:MLM → ELECTRA 的 RTD → DeBERTa V3 混合训练
- 效率提升:DistilBERT(蒸馏)、ALBERT(参数共享)
- 注意力机制:标准注意力 → DeBERTa 解耦注意力 → Longformer 稀疏注意力
- 领域适配:BioBERT、mBERT 等
关键洞察
- 训练效率优化是持续主线:从标准 MLM 到 RTD,不断降低训练成本
- 模型压缩:蒸馏 + 参数共享在保持性能的同时大幅减小模型