BERT 揭秘:重新定义语言理解的模型
自2018年谷歌推出BERT(基于Transformer的双向编码器表示)以来,它重新定义了自然语言处理(NLP)的格局。BERT利用Transformer编码器架构,并通过掩码语言预训练引入双向上下文建模,使机器能够以前所未有的深度理解语言细微差别。本文探讨了BERT的起源和架构、其创新的预训练和微调策略,以及它在将迁移学习确立为NLP核心范式方面所发挥的关键作用。此外,本文还追溯了BERT的后续模型——例如RoBERTa、ALBERT和ELECTRA——的演进历程,这些模型不断提升BERT的效率和可扩展性。最终,BERT的出现标志着一次范式转变,它不仅改变了学术研究,也改变了现实世界的语言应用,并为当今的大规模语言模型奠定了基础。
如果您还不是 Medium 的订阅用户,请点击此处阅读全文。
按回车键或点击查看完整尺寸的图片
BERT 是第一个仅包含编码器的 Transformer 模型。
1. BERT的诞生:自然语言处理领域的范式转变(2018)
2018 年 10 月,谷歌发表了一篇题为《BERT:用于语言理解的深度双向 Transformer 预训练》的开创性论文,推出了 BERT 模型。BERT 的核心在于它与以往只能从左到右或从右到左处理文本的语言模型截然不同。BERT 采用双向训练方法,使其能够从句子中前后词语获取上下文信息。
1.1 BERT架构
BERT 完全基于Transformer 编码器架构构建,该架构最初由 Vaswani 等人于 2017 年提出。与包含编码器和解码器堆栈的完整 Transformer 模型不同,BERT 仅利用编码器组件——一个多层双向自注意力模块堆栈。
BERT架构的核心由以下部分组成:
- 多头自注意力机制,使模型能够学习句子中所有单词之间的关系,而不管它们之间的距离如何。* 转换中间表示的前馈网络(FFN) 。* 由于 Transformer 缺乏固有的序列顺序感知能力,因此需要使用位置编码。* 层归一化和残差连接可以稳定训练并帮助梯度传播。
按回车键或点击查看完整尺寸的图片
原始论文中提出了两种主要模型尺寸:
- BERT 基础模型:12 层(Transformer 模块),768 个隐藏单元,12 个注意力头,以及1.1 亿个参数。* BERT LARGE:24 层,1024 个隐藏单元,16 个注意力头,总共3.4 亿个参数。
1.2 输入表示
BERT 的输入首先是一个分词器,它将文本转换为整数序列。BERT 使用的是 WordPiece 分词器,词汇表包含 30,000 个词元。
输入表示是三种嵌入类型的组合:
- 词元嵌入:这些词元嵌入表示单个单词的含义。 片段嵌入:这些可以帮助 BERT 区分单个输入中的不同句子。 位置嵌入:这些嵌入表示序列中每个单词的位置。
按回车键或点击查看完整尺寸的图片
这种架构使 BERT 能够对复杂的语言结构和上下文依赖关系进行建模,远远超出了 ELMo 或 GPT-1 等先前模型的能力。
2. 理解引擎:预训练任务
BERT 对语言的深刻理解源于其在大量未标注文本数据上进行的预训练。该预训练阶段包含两项新颖的无监督任务:掩码语言模型(MLM)和下一句预测(NSP)。
按回车键或点击查看完整尺寸的图片
2.1 掩码语言模型(MLM)
BERT预训练的关键创新在于掩码语言模型(MLM)目标。在训练过程中,输入中15%的词元会被随机掩码,模型的任务是利用上下文信息(包括正反两方面的上下文)来预测这些被掩码的词。
按回车键或点击查看完整尺寸的图片
例如:
输入:“深度掩码非常强大。”
目标:“学习”
通过同时观察左侧和右侧的上下文,该模型学习到深度双向表示,这比只能使用从左到右上下文的单向模型(如 GPT)具有主要优势。
2.2 下一句预测(NSP)
为了帮助 BERT 理解句子之间的关系(这对于问答和自然语言推理等任务至关重要),它还引入了“下一句预测”任务。句子之间用特殊标记分隔[SEP],并[CLS]在输入的开头添加一个标记,用于表示分类任务所需的完整序列。
给定两个句子 A 和 B,该模型预测 B 在原文中是否跟在 A 之后。
按回车键或点击查看完整尺寸的图片
- 正面例子: “天空是蓝色的。” → “今天天气真美。”* 反例: “天空是蓝色的。” → “我喜欢踢足球。”
NSP 目标增强了 BERT 对篇章级关系的理解,使其能够对句子对而不是孤立的句子进行建模。
3. 针对下游任务对 BERT 进行微调
BERT模型经过预训练后,只需对架构进行极少的修改,即可针对各种自然语言处理任务进行微调。微调过程包括使用预训练模型,并针对特定任务的数据进行少量训练。
按回车键或点击查看完整尺寸的图片
3.1 特定任务适应
根据目标应用的不同:
- 对于文本分类(例如情感分析),
[CLS]将标记的最终隐藏状态输入到 softmax 分类器中。
按回车键或点击查看完整尺寸的图片
基于BERT的文本分类。
按回车键或点击查看完整尺寸的图片
基于BERT的自然语言推理。
- 对于命名实体识别和词性标注,使用词元级输出。
按回车键或点击查看完整尺寸的图片
基于BERT的词性标注。
- 对于问答系统(例如 SQuAD),BERT 会预测答案在文章中的起始位置和结束位置。
按回车键或点击查看完整尺寸的图片
基于 BERT 的问答系统。
值得注意的是,BERT在 11 项基准任务(包括 GLUE、SQuAD 和 SWAG)中取得了最先进的结果,而针对特定任务的架构更改却很少。
按回车键或点击查看完整尺寸的图片
4. BERT 的演进:建立在坚实的基础之上
BERT 的突破性架构引发了一波创新浪潮,催生了多个后续模型,旨在改进其性能、效率和训练方法。
4.1 RoBERTa(一种鲁棒优化的 BERT ,2019)
RoBERTa 由 Facebook AI 开发,是 BERT 的优化版本。RoBERTa 的主要改进包括:
- 动态掩码:掩码图案在训练过程中会发生变化,这与 BERT 的静态掩码不同。 移除下一句预测任务: RoBERTa 的开发者发现,移除 NSP 任务可以提高性能。 使用更大的数据集进行训练:其中包括更大的文本语料库。* 使用更大的批次大小:这有助于提高训练过程的稳定性。
这些优化使得 RoBERTa 在许多 NLP 基准测试中超越了原始 BERT。
4.2 ALBERT(精简版 BERT,2019)
ALBERT 的设计目标是成为 BERT 的参数效率更高的版本。它引入了两种主要的参数缩减技术:
- 因子化嵌入参数化:这使得隐藏层的大小与词汇嵌入的大小解耦。* 跨层参数共享:这允许模型在其各层之间共享参数,从而显著减少参数总数。
这些改变使得模型比 BERT 小得多,但在几个 NLP 任务上却取得了相当甚至更好的性能。
4.3 DistilBERT(BERT 的精简版,2019)
DistilBERT 是 BERT 的一个更小、更快、更便宜的版本。它使用一种称为知识蒸馏的技术,将大型 BERT 模型中的知识压缩到一个更小的模型中。最终得到的模型比原始 BERT 缩小了 40%,速度提高了 60%,同时保留了 97% 的语言理解能力。
4.4 SpanBERT、ELECTRA 及其他
- SpanBERT通过屏蔽连续的词跨而不是单个词元,提高了跨度级预测的准确性。* ELECTRA用**替换的令牌检测**任务替换了 MLM ,训练模型来区分真实令牌和生成的令牌,从而实现了更高的效率。
这些后续模型在 BERT 的基础框架基础上进行了改进,同时解决了其计算成本高和数据效率低的问题。
5. 结论:BERT的持久影响
BERT 的出现标志着自然语言处理发展史上的一个里程碑。它的双向编码、掩码语言预训练和迁移学习框架重塑了模型从文本中学习的方式,并启发了一系列后续模型,这些模型不断拓展着人工智能的边界。
从 BERT 到 RoBERTa、ALBERT 以及后续模型,BERT 模型的影响一直延续至今——它不仅是技术上的里程碑,更是当今大规模语言模型赖以构建的基础。本质上,BERT 开启了真正意义上的上下文相关且可扩展的语言理解时代。