AI Token 是这些模型用来理解语言的基本文本单位。假设你让 Copilot 帮忙规划一个暑期度假——也许是一个适合全家出游、美食丰富且交通便利的海滨小镇。几秒钟后，它就会返回深思熟虑的建议、小贴士，甚至是示例行程。这一切看起来毫不费力。但在那流畅的对话背后，Copilot 并不是像人类那样阅读你的信息。它将你的提示拆解成微小的片段，通过数学方式进行计算，然后逐块重建答案。

这些片段就被称为 Token。Token 是 AI 模型读取、记忆和生成的文本和数据的小单位。它们决定了 AI 一次性能理解多少内容、回复的长度上限、回复的速度等等。如果你曾好奇 Copilot 是如何理解你的提示的，为什么回复有时会被截断，或者人们谈论的“Token 限制”或“Token 使用量”是什么意思，这篇文章会为你答疑解惑。我们将解释什么是 AI Token，Tokenization（分词）是如何工作的，为什么 Token 对你作为用户很重要，以及这项技术的未来发展方向。

AI Token：自然语言处理的基石

从根本上讲，AI Token 是 AI 模型用于理解和处理语言的文本（或数据）基本单位。通过将文本分解为更小的单位， Copilot 和其他 AI 模型能够更有效地分析语言并生成回复。你可以把它们看作是帮助 AI 模型理解并响应提示的积木。但 Token 与词并不相同；一个词可能是一个 Token，也可能是多个 Token。短小常用的词如“the”或“and”通常是一个 Token，而较长或不常用的词通常会被拆分为子词 Token。例如，“tokenization”这个词会被分解为“token” + “ization”。

Token 还可以代表：

• 标点符号（, . !）

• 空格和换行符

• 数字和符号

• 特殊字符

一个实用的经验法则

本质上，对于英文文本：

• ~1 Token ≈ ¾ 个单词

• ~1 Token ≈ 4 个字符

• ~100 Tokens ≈ 75 个单词

这就是为什么一个简短的段落可能包含比你预期更多的 Token。此外，了解不同的 AI 模型对文本的 Tokenization 方式也不同也很重要。许多现代系统——包括 Copilot 等工具背后的系统——使用子词分词方法（如字节对编码，即 BPE）来平衡效率和灵活性。

Tokenization 是如何工作的？

Tokenization 是将文本字符串转换为 Token 的过程，也就是构成句子的模块。这涉及根据空格、标点符号和其他分隔符拆分文本。就像你不会整个吞下一个橘子，而是把它掰成一瓣一瓣来吃一样，Copilot 和其他 AI 模型也会将较长的句子分解成它们可以消化的较小 片段 。

通过将较大的输入分解为较小的块， Copilot 可以处理每个 Token 并理解要求它做什么。一旦理解了输入，模型就能做出恰当的响应。

一个更现实的例子

以这个句子为例：“Planning a stress-free vacation is not always easy.” 简化的子词分词可能看起来像这样：

注：（Token ID 仅为说明用途；实际 ID 因模型而异。）

请注意：

• 有些 Token 包含前导空格

• 单词的拆分并不总是干净利落

• 标点符号会成为独立的 Token

• 从 Token 到数字（Embeddings）

文本被拆分为 Token 后，每个 Token 都会被映射到一个数字（或者更准确地说是数值向量）。这些被称为嵌入的向量编码了 Token 之间的关系，例如含义或用法上的相似性。这种数字表示至关重要。 Copilot 和其他 AI 模型并不像人类那样“阅读”文本；它们处理的是从这些数字中衍生出的数字和模式。

输入 Token vs. 输出 Token

每次 AI 互动都有两个方面：

• 输入 Token：你提示中的 Token（你输入或粘贴的内容）。

• 输出 Token： AI 在其响应中生成的 Token。

两者都计入模型在单次交互中处理的数据量。

为什么 Token 对你很重要

在这里，Token 不再是抽象的概念，而是开始影响你的日常体验。

上下文窗口：AI 的“记忆”容量

AI 模型一次只能处理有限数量的 Token。这个限制被称为上下文窗口。对话中的所有内容——你的消息和 Copilot 的回复——都必须容纳在该窗口内。当对话变得太长时：

• 较早的 Token 可能会超出上下文范围

• Copilot 可能会停止引用早期的细节

• 你可能需要重申关键信息

这就是为什么冗长、漫无边际的对话有时会失去连贯性。

回复长度与细节

Token 限制也会影响回复的长度或详细程度。如果你提供了一个很长的提示，留给 Copilot 答案的 Token 可能就会变少。或者，如果你问了一个复杂的问题，但可用的输出 Token 数量很少，回复可能会变得更简短或更概括。

成本与速度

在许多 AI 服务中，Token 使用量决定了成本和性能：

• 更多的 Token = 更多的计算量

• 更多的计算量 = 更高的成本和稍长的处理时间

可以把 Token 想象成移动数据或通话分钟——它们是衡量使用量的一种方式。

编写更好的提示

清晰、简洁的提示能更有效地利用 Token。去除不必要的重复并 专注于核心内容 ，往往能带来更好的答案，而不是更糟的答案。你不需要惜字如金，但避免不必要的填充词可以帮助 Copilot 抓住重点。

Tokenization 的实际应用

在实践中，Tokenization 在各种 AI 应用中起着至关重要的作用，包括文本生成、语言翻译和情感分析。

文本生成

Token 帮助 AI 模型创建连贯且符合语境的句子。在生成文本时，AI 模型（包括 Copilot 使用的模型）会根据之前的一切，逐个预测下一个最可能的 Token。这种逐步预测是大型语言模型 的核心机制 。

语言翻译

Tokenization 有助于将句子分解为可管理的单元，甚至细化到字符级别，使 AI 模型能够准确翻译每个部分。如果你想将句子“I walked to the store”从英语翻译成西班牙语， Copilot 会将其拆分为 Token，然后翻译每个 Token，从而给出翻译后的句子“Yo caminé a la tienda”。

跨语言的 Tokenization 变得更加棘手。有些语言不使用空格，而另一些语言则具有复杂的词形。子词分词帮助模型处理这些差异，但这可能会增加某些语言的 Token 数量。这就是为什么翻译质量和长度会有所不同的原因。

情感分析

理解情感不仅仅关乎单个 Token，更关乎语境。通过将文本分解为 Token，Copilot 可以更好地理解整体信息是积极的、消极的还是中立的。例如，如果你在网上购物并告诉 Copilot：“This product is cute, but the sizing is not accurate, and I had to return it for a different size”，它可以将句子 Token 化为类似 [“This”, “product”, “is”, “cute”, “,”, “but”, “the”, “sizing”, “is”, “not”, “accurate”, “,”, “and”, “I”, “had”, “to”, “return”, “it”, “for”, “a”, “different”, “size”, “.”] 的形式。“not bad”这样的短语说明了为什么 Token 关系比单个单词（如“bad”）更重要。这就是为什么每次对话的语境都很重要，以帮助 Copilot 更好地理解你的语气并给出更好的回应。Tokenization 提供了碎片，但语境决定了意义。

代码生成

代码的 Tokenization 方式与散文不同。符号、缩进和换行符都承载着意义。一个缺失的括号或空格可能会改变代码的行为，因此精确处理 Token 至关重要。

Tokenization 的挑战与局限

Tokenization 并不完美：单词可能会被尴尬地拆分，有时会导致误解。罕见的名字、技术术语或行话通常会分解成许多微小的 Token，这使得它们更难处理。Tokenization 在不同语言中的表现也不同，这可能会影响准确性并可能导致误解。研究人员正在探索替代方案，包括字符级和字节级方法，以提高灵活性和效率。

AI 中 Token 的未来

随着 AI 模型的不断发展，Tokenization 将在提高生成文本的质量和相关性方面发挥关键作用。这些进步将对 AI 驱动的工具和应用产生重大影响，使其更加高效和有效。Token 也在随着 AI 模型一起进化。更长的上下文窗口将允许对整个文档或长对话进行推理，多模态 Token 将代表图像、音频和视频——而不仅仅是文本。更高效的 Tokenization 可能会降低计算成本和环境影响。随着这些改进的落地，与 Copilot 和其他 AI 工具的互动将变得更加无缝和强大。

AI 的基石

从文本生成到语言翻译再到情感分析，Tokenization 在 AI 模型与用户的交互方式中起着巨大的作用。正是因为有了这些基石，你才能与 Copilot 进行持续的对话，Copilot 也能针对你的查询提供更具语境感知和相关性的回复。今天就试试 Copilot ，开启一个充满可能性的世界。

常见问题解答