什么是Transformer：AI为什么能理解上下文并生成连贯内容

生成摘要

AI 生成，仅供参考

同一个词在不同句子里可能表达完全不同的意思。“苹果今天发布了新款手机”和“我买了两斤苹果，准备做果酱”，人类读者几乎不需要停顿就能分辨：前一句说的是公司，后一句说的是水果。这种依赖上下文消除歧义的能力，正是 Transformer 要解决的核心问题之一。理解它，也就理解了今天生成式人工智能为什么能够接住你的半句话，并续写出一段看起来连贯的内容。

从文字到数字：模型先要“看见”什么

计算机无法直接处理汉字或字母，第一步是把文本切分成较小的单位，通常称为词元。一个词元可能是一个完整的词，也可能是词的一部分，甚至是一个标点。切分之后，每个词元会被映射成一串数字，也就是向量。向量可以理解为这个词在模型内部空间里的坐标，含义相近的词，坐标往往也比较接近。

但仅有词本身的坐标还不够。“苹果”这个词单独拿出来，模型并不知道该往“公司”还是“水果”的方向理解。它需要知道这句话里还有哪些词、这些词和它是什么关系。这正是注意力机制要补上的信息。

注意力机制在做什么

可以把一句话里的每个词想象成会议桌旁的一个人。当轮到某个词表达自己的含义时，它不会只闷头看自己，而是会环视全场，判断桌上其他人的发言和自己有多大关系，再按相关程度把别人的信息按比例吸收进来。

在 Transformer 中，这个过程通过三组向量完成，通常称为查询、键和值。查询代表“我在找什么信息”，键代表“我能提供什么信息”，值则是实际被取用的内容。模型用查询和键计算出一组权重，权重越高的词，对当前词的影响越大，最后按这些权重把值加权汇总。用“苹果”举例，如果句子里出现了“发布”“手机”“公司”，这些词的权重就会升高，帮助模型把“苹果”推向科技公司的含义；如果出现的是“果酱”“两斤”“甜”，权重分布就会转向水果。

注意力机制的价值在于，它让任意两个位置之间都能直接建立联系。无论两个词相隔几个字还是几百个字，模型都可以在一次计算中比较它们的关系。这与早期按顺序逐个传递信息的循环神经网络不同，后者在长句子里容易把前面的信息逐渐“忘掉”。

更准确地说，Transformer 并不是只有一个注意力层。它会把注意力、前馈网络、残差连接和归一化等组件反复堆叠很多层。浅层可能更关注邻近的词和语法搭配，深层则逐渐组合出更抽象的关系，比如谁在做什么、指代指向哪里、句子整体的语气是什么。

从理解到生成：下一个词是怎么被选出来的

理解了上下文，并不等于会写文章。语言模型做的事情，可以概括为一个反复执行的任务：给定已有的文本，预测下一个最可能出现的词元。

模型会在整个词表上给出一个概率分布。比如输入“今天天气不错，我们决定去”，模型可能给“公园”较高概率，给“散步”“郊游”也不低的概率。接着它从中选出一个词，把它接到句子后面，再把这句更长的话重新输入，继续预测下一个词。如此循环，就形成了逐词生成的输出。

这里有一个容易被忽略的细节：模型并不是先想好完整的一段话再一次性写出来。它每一步看到的都只是已经生成的文本，因此在长回答中，前面某一步的措辞会直接影响后面的走向。这也解释了为什么同一个问题问两次，得到的答案往往不完全一样——生成过程中通常带有一定的随机性。

Transformer、语言模型和聊天应用不是一回事

这三个词经常被混用，但它们处在不同层级。

Transformer 是骨架，语言模型是在骨架上训练出来的能力，聊天机器人则是把这套能力包装成可用产品的工程系统。一个聊天应用之所以能回答你的问题，除了模型本身，还依赖对话历史的整理方式、系统提示的设置、安全策略以及可能接入的搜索或计算工具。换句话说，模型只是整条链路中的一环。

它擅长什么，不保证什么

Transformer 的架构特点让它很适合扩展。注意力计算可以在训练时高度并行，层数、宽度和训练数据都可以持续增加，模型因此能够吸收海量文本中的语言规律。这也是它在自然语言处理之外，被用于图像、语音、蛋白质结构等序列化任务的原因。

但它并不天然保证事实准确。语言模型优化的是“下一个词元出现的概率”，而不是“这句话是否真实”。当训练数据中存在错误、过时信息或相互矛盾的说法时，模型可能生成流畅但不可靠的内容。它也没有内置的事实数据库，除非通过外部检索或工具补充信息。

此外，模型能处理的上下文长度有上限，超出部分会被截断或以其他方式压缩；训练数据也有时间范围，之后发生的事情它并不自动知晓。它表现出的“理解”，更准确的描述是对语言统计规律的捕捉和运用，而不是人类意义上的意图和判断。

读懂 AI 新闻的几个基本判断

当一条新闻说某模型“上下文更长”“推理能力更强”或“支持多模态”时，可以先问几个问题：变化发生在 Transformer 架构层面，还是在训练数据、训练方法或产品工程层面？提升的是生成质量、事实可靠性，还是使用体验？宣传中的能力有没有明确的测试条件和适用范围？

把概念分层之后，很多技术新闻就不再是一团模糊的术语。Transformer 提供了处理上下文关系的计算方式，语言模型在这套结构上学会了预测和生成，聊天应用则把它变成你能直接对话的产品。三者相互依赖，但承担的责任并不相同。理解了这条链路，也就掌握了一个足以支撑日常阅读和判断的基础框架。