从预训练语言模型到领域专用优化的演进历程
从BERT的标准MLM到ELECTRA的RTD,再到DeBERTa V3的混合训练,持续降低训练成本
DistilBERT、ALBERT通过蒸馏和参数共享,在保持性能的同时大幅减少模型大小
从标准注意力到DeBERTa的解耦注意力,再到Longformer的稀疏注意力
针对特定领域和语言的预训练,如BioBERT、mBERT等,提升专业任务表现