Seq2Seq 与 Encoder-Decoder Attention 笔记
1. Seq2Seq 是什么
Seq2Seq,全称是 Sequence to Sequence,意思是“从一个序列生成另一个序列”。
它最早被广泛用于机器翻译,例如:
输入英文: I love machine learning
输出中文: 我 喜欢 机器 学习Seq2Seq 的核心结构是:
源序列 -> Encoder -> 语义表示 -> Decoder -> 目标序列其中:
- Encoder 负责理解输入序列。
- Decoder 负责生成输出序列。
早期 Seq2Seq 通常使用 RNN、LSTM 或 GRU 作为 Encoder 和 Decoder。
2. Encoder 怎么做
Encoder 会按顺序读取输入句子的每个词。
例如输入句子:
I love machine learningEncoder 的处理过程可以理解为:
I -> h1
love -> h2
machine -> h3
learning -> h4每个 h_i 是 Encoder 在当前位置的隐藏状态,包含了当前词以及前面上下文的信息。
在最早的 Seq2Seq 中,通常只把最后一个隐藏状态 h4 作为整句话的语义表示,然后交给 Decoder。
也就是:
I love machine learning -> h4 -> Decoder这个 h4 就像一个固定长度的“句子压缩包”。
3. Decoder 怎么做
Decoder 根据 Encoder 提供的语义表示,一个词一个词生成目标句。
例如:
<BOS> -> 我 -> 喜欢 -> 机器 -> 学习 -> <EOS>其中:
<BOS>表示句子开始。<EOS>表示句子结束。
Decoder 每一步都会根据以下信息预测下一个词:
- 上一步生成的词;
- 当前 Decoder 隐藏状态;
- Encoder 提供的源句语义信息。
可以粗略写成:
p(y_t | y_<t, x) = Decoder(s_t, context)其中:
y_t是当前要生成的目标词;y_<t是前面已经生成的目标词;x是输入源句;s_t是 Decoder 当前隐藏状态;context是 Encoder 提供的上下文信息。
4. 早期 Seq2Seq 的问题
早期 Seq2Seq 最大的问题是:它把整句话压缩进一个固定长度向量。
短句问题不大,但长句会丢信息。
例如:
The student who won the math competition last year is now studying artificial intelligence.如果只用最后一个隐藏状态表示整句话,Decoder 在生成目标句时很难准确记住所有细节。
这被称为固定长度瓶颈。
5. Encoder-Decoder Attention 的核心思想
Attention 的改进是:
Decoder 不再只依赖 Encoder 的最后一个隐藏状态,而是可以在每一步生成时,动态查看 Encoder 的所有隐藏状态。
也就是从:
只看最后一个 h_n变成:
每一步都看 h1, h2, h3, ..., h_n这样,Decoder 生成不同目标词时,可以关注源句中不同的位置。
例如:
输入: I love machine learning
输出: 我 喜欢 机器 学习生成“机器”时,模型应该主要关注 machine。
生成“学习”时,模型应该主要关注 learning。
这就是所谓的“注意力对齐”。
6. Attention 对齐是怎么计算的
假设 Encoder 得到源句每个位置的隐藏状态:
h1, h2, h3, h4Decoder 在第 t 步有一个当前隐藏状态:
s_t第一步:计算相关性分数
Decoder 会拿自己的当前状态 s_t 和每个 Encoder 隐藏状态 h_i 计算一个分数:
score(s_t, h_i)这个分数表示:
生成当前目标词时,源句第 i 个位置有多重要例如生成“机器”时:
score(s_t, h_I)
score(s_t, h_love)
score(s_t, h_machine)
score(s_t, h_learning)理论上,h_machine 的分数应该最高。
第二步:Softmax 得到注意力权重
分数会经过 softmax,变成一组权重:
alpha_ti = softmax(score(s_t, h_i))这些权重加起来等于 1。
例如生成“机器”时,可能得到:
I: 0.02
love: 0.05
machine: 0.72
learning: 0.21这说明模型在生成当前词时,主要关注 machine,同时也会参考一点 learning。
第三步:加权求和得到上下文向量
然后模型会把所有 Encoder 隐藏状态按权重加权求和:
c_t = sum(alpha_ti * h_i)其中:
c_t是当前生成步骤专属的上下文向量;alpha_ti是第t个目标词对第i个源词的注意力权重;h_i是 Encoder 在第i个源词位置的隐藏状态。
第四步:Decoder 结合上下文生成目标词
Decoder 最后会结合:
- 当前 Decoder 状态
s_t; - 当前上下文向量
c_t; - 上一步生成的目标词;
来预测当前目标词:
p(y_t | y_<t, x) = Decoder(s_t, c_t)7. 为什么叫“对齐”
在机器翻译里,“对齐”指的是:
目标句中的某个词,对应源句中的哪个词或哪些词例如:
I -> 我
love -> 喜欢
machine -> 机器
learning -> 学习Attention 权重 alpha_ti 本质上就学到了这种对应关系。
所以 Encoder-Decoder Attention 也可以理解为:
Decoder 每生成一个目标词,就自动学习它应该对齐源句中的哪些位置。8. Seq2Seq 与 Seq2Seq + Attention 的区别
普通 Seq2Seq
源句 -> Encoder -> 最后一个隐藏状态 -> Decoder -> 目标句特点:
- 结构简单;
- 整个源句被压缩成一个固定长度向量;
- 长句信息容易丢失。
Seq2Seq + Attention
源句 -> Encoder 所有隐藏状态
↓
Decoder 每一步动态选择该关注哪些源句位置
↓
目标句特点:
- Decoder 每一步都能访问源句全部位置;
- 可以动态关注不同词;
- 长序列翻译更稳定;
- 注意力权重具有一定可解释性。
9. 和 Transformer Attention 的关系
2014-2015 年的 Attention 主要是 RNN Seq2Seq 里的辅助模块。
它通常是 Encoder-Decoder Attention,也就是:
Decoder 查询 Encoder 的隐藏状态到了 2017 年 Transformer,Attention 变成了主干结构。
Transformer 不再依赖 RNN,而是大量使用:
- Self-Attention;
- Multi-Head Attention;
- Encoder-Decoder Cross-Attention;
- Position Encoding。
二者关系可以理解为:
Seq2Seq Attention:
RNN 是主干,Attention 是辅助信息检索机制。
Transformer:
Attention 直接成为主干,替代 RNN 进行序列建模。10. 一句话总结
Seq2Seq 用 Encoder 把输入序列编码,再用 Decoder 生成输出序列;Encoder-Decoder Attention 则让 Decoder 在生成每个词时,动态回看 Encoder 的所有隐藏状态,计算对齐权重,从而知道当前目标词应该重点参考源句中的哪些位置。
相关笔记
- 三种 seq2seq 结构(seq2seq 演变) — 无注意力 / Bahdanau / Luong 三张结构图对比(含交互图解)
- transformer架构和自注意力机制 — 注意力成为主干后的 Transformer