视觉转换器 (ViT) 内部结构:图像分类步骤详解
Transformer模型和注意力机制彻底革新了自然语言处理(NLP),推动了大型语言模型(LLM)的兴起。然而,它们的影响远不止于文本处理。
ViT建筑事务所
本文探讨了如何将Transformer模型和注意力机制应用于图像分类,并基于论文“一图胜千言:大规模图像识别的Transformer模型”中提出的架构,构建了视觉Transformer(ViT)模型。我们将以“ google/vit-base-patch16-224 ”模型为例,逐步讲解整个过程。
使用 ViT 对图像进行分类
[可视化视觉转换器 (ViT) 中的注意力机制——maomao88 的拥抱式面部空间
上传图片即可查看其分类和注意力图,该注意力图会突出显示图片中最受关注的部分……
huggingface.co](https://huggingface.co/spaces/maomao88/visualize_attention_in_ViT?source=post_page-----0af45d5acbca---------------------------------------)
模型处理器
在模型对图像进行分类之前,必须先使用ViTImageProcessor对输入进行预处理。该处理器将像素值归一化,并将图像调整为模型所需的固定尺寸。
Transformers 代码示例
例如,“google/vit-base-patch16–224”模型会将所有输入图像调整为224×224像素。处理完成后,图像即可输入模型进行分类。
处理输入图像
模型架构
Vision Transformer (ViT) 模型由三个主要部分组成:
- 嵌入层:首先将图像分割成固定大小的图像块(例如,16×16像素),然后将这些图像块展平并线性投影到高维向量上。此外,还会在序列前添加一个特殊的[CLS]标记,类似于自然语言处理Transformer模型。这在概念上类似于LLM中文本的标记化和嵌入方式,只是这里的“标记”是图像块,而不是单词或子词。- Transformer编码器:这些图像块嵌入随后被输入到标准的Transformer编码器中。通过多层多头自注意力机制和前馈网络,每个图像块学习关注其他图像块,从而捕捉图像的全局上下文和空间关系。- 分类头(MLP头):最后,与 [CLS] 标记对应的输出会经过一个多层感知器 (MLP) 头。该头由一个或多个线性层组成,这些线性层将表示转换为一个大小为 1000 的向量,对应于 id2label 映射中可能的图像类别数量。
ViT架构和模型细节
嵌入层
根据论文《一图胜千言》,输入图像被分割成 196 个互不重叠的图像块,每个图像块的大小为 16 × 16 像素。
图像补丁
在“google/vit-base-patch16–224”模型中,图像块分割过程使用卷积核大小为 (16, 16)、步长为 (16, 16) 的 Conv2d 层实现。当应用于 224 × 224 的输入图像时,该卷积运算输出一个 14 × 14 的特征向量网格(每个图像块对应一个特征向量)。由于每个图像块都被投影到 768 维的嵌入向量上,因此最终得到 196 个嵌入向量,每个向量的大小为 768,分别代表每个图像块的展平投影内容。
Conv2d(3, 768, kernel_size=(16, 16), stride=(16, 16))
接下来,将相同大小(768)的可学习位置嵌入添加到每个图像块向量中,以保留空间信息。与自然语言处理中常用的传统Transformer(通常使用固定的正弦位置编码)不同,ViT使用随机初始化的可学习位置向量。
此外,在图像块嵌入序列的开头会添加一个特殊的 [CLS](分类)标记,其位置为 0。该向量初始状态下不包含任何图像信息,其目的是在注意力机制过程中聚合所有图像块的信息。经过 Transformer 编码器处理后,分类头会使用 [CLS] 标记的最终状态来预测图像类别。
CLS 令牌
变压器编码器
ViT架构和变压器细节
ViT 中的 Transformer 编码器功能与 NLP Transformer 中使用的编码器类似。嵌入的 patch 向量序列以及 [CLS] 标记会依次通过多个 Transformer 模块,每个模块都包含多头自注意力层和前馈层。
自注意力机制使得每个图像块都能关注其他所有图像块,从而使模型能够捕捉整幅图像的全局上下文信息。在这些层中,[CLS] 标记逐渐学习图像中哪些区域(图像块)信息量最大,并相应地更新其表示。到最后一个编码器层结束时,[CLS] 标记包含了整幅图像内容的高级概要信息。
注意力权重
分类层
id2label
[CLS]标记的最终表示形式会经过一个多层感知器(MLP)头部,该头部通常由一个或多个线性(全连接)层组成。输出是一个大小为1000的logits向量,对应于id2label映射中定义的图像类别数量。选择logits得分最高的类别,并将其关联的标签作为图像的预测类别返回。
结论
Vision Transformers (ViT) 将最初为自然语言处理 (NLP) 开发的 Transformer 模型和自注意力机制引入计算机视觉领域。通过将图像分割成多个图像块,并像处理 NLP 中的词元一样处理这些图像块,ViT 使模型能够捕捉整幅图像中的全局关系。
以“google/vit-base-patch16–224”模型为例,我们详细介绍了整个流程:从预处理和图像块嵌入,到Transformer编码器,最终通过[CLS]标记进行分类。要查看完整流程,请观看以下视频:
ViT 的工作原理详解