AI Token 是这些模型用来理解语言的基本文本单元。假设你请求 Copilot 帮助规划一个夏日假期——也许是一个拥有美食且适合全家轻松游玩的海滨小镇。几秒钟后，它会回馈周到的建议、提示，甚至示例行程。这看起来毫不费力。但在流畅的对话背后，Copilot 并不是像人类那样阅读你的信息。它将你的提示拆解成微小的碎片，通过数学方式处理它们，然后逐块重建答案。

这些碎片被称为 Token。Token 是 AI 模型读取、记忆和生成的小型文本和数据单元。它们决定了 AI 一次能理解多少内容、回复能有多长、回复速度有多快等等。如果你曾好奇 Copilot 是如何理解你的提示的，为什么回复有时会被截断，或者人们谈论的“Token 限制”或“Token 使用量”是什么意思，这篇文章将为你解惑。我们将解释什么是 AI Token，分词是如何工作的，为什么 Token 对用户很重要，以及这项技术的发展方向。

AI Token：自然语言处理的基石

从根本上说，AI Token 是 AI 模型用于理解和处理语言的文本（或数据）基本单位。通过将文本拆解为更小的单元， Copilot 和其他 AI 模型可以更有效地分析语言并生成回复。你可以把它们看作帮助 AI 模型理解并响应提示的积木。但 Token 不等同于单词；一个单词可能是一个 Token，也可能是许多 Token。简短、常见的单词如“the”或“and”通常是一个 Token，而较长或不常见的单词通常被拆分为子词 Token。例如，“tokenization”一词被拆分为“token”+“ization”。

Token 也可以代表：

• 标点符号（, . !）

• 空格和换行符

• 数字和符号

• 特殊字符

一个实用的经验法则

基本上，对于英文文本：

• ~1 token ≈ ¾ 个单词

• ~1 token ≈ 4 个字符

• ~100 tokens ≈ 75 个单词

这就是为什么一个简短的段落可能包含比你预期更多的 Token。同样重要的是，不同的 AI 模型以不同的方式对文本进行分词。许多现代系统——包括 Copilot 等工具背后的系统——使用子词分词方法（如字节对编码，即 BPE）来平衡效率和灵活性。

分词是如何工作的？

分词是将文本字符串转换为 Token 的过程，也就是构成句子的块。这包括根据空格、标点符号和其他分隔符拆分文本。就像你不会整个吞下一个橘子，而是把它切成几瓣来吃一样，Copilot 和其他 AI 模型将较大的句子分解为更小的、可以消化的 片段 。

通过将较大的输入分解为更小的块， Copilot 可以处理每个 Token 并理解对其的要求。一旦理解了输入，模型就能做出适当的响应。

一个更现实的例子

拿这句话来说：“Planning a stress-free vacation is not always easy.”（规划一个无忧无虑的假期并不总是容易的。）简化的子词分词可能看起来像这样：

注意：（Token ID 是说明性的；实际 ID 因模型而异。）

请注意：

• 某些 Token 包含前导空格

• 单词并不总是干净地分割

• 标点符号成为它自己的 Token

• 从 Token 到数字（嵌入）

文本被拆分成 Token 后，每个 Token 都被映射到一个数字（或者更准确地说是数值向量）。这些向量——称为嵌入——编码了 Token 之间的关系，例如含义或用法上的相似性。这种数字表示至关重要。 Copilot 和其他 AI 模型并不像人类那样“阅读”文本；它们处理的是从这些数字派生出来的数字和模式。

输入 Token 与输出 Token

每次 AI 交互都有两个方面：

• 输入 Token：你提示中的 Token（你输入或粘贴的内容）。

• 输出 Token：AI 在响应中生成的 Token。

两者都计入模型在单次交互中处理的总 Token 量。

为什么 Token 对你很重要

在这里，Token 不再是抽象的概念，开始影响你的日常体验。

上下文窗口：AI 能“记住”多少

AI 模型一次只能处理有限数量的 Token。这个限制被称为上下文窗口。对话中的所有内容——你的信息和 Copilot 的回复——都必须适合那个窗口。当对话变得太长时：

• 较早的 Token 可能会从上下文中掉落

• Copilot 可能会停止引用之前的细节

• 你可能需要重申关键信息

这就是为什么冗长、漫无边际的对话有时会失去连贯性。

回复的长度和细节

Token 限制也会影响回复的长度或详细程度。如果你提供了一个非常长的提示，留给 Copilot 答案的 Token 可能会变少。或者，如果你问了一个复杂问题，但只有少量输出 Token 可用，回复可能会更简短或更概括。

成本和速度

在许多 AI 服务中，Token 使用量决定了成本和性能：

• 更多 Token = 更多计算

• 更多计算 = 更高的成本和稍长的处理时间

可以把 Token 看作移动数据或通话分钟数——它们是衡量使用量的一种方式。

编写更好的提示

清晰、简洁的提示能更有效地利用 Token。去除不必要的重复并 专注于重要的事情 通常会带来更好的答案，而不是更差的答案。你不必过于简练，但避免不必要的填充词可以帮助 Copilot 集中精力在关键点上。

实践中的分词

在实践中，分词在各种 AI 应用中起着至关重要的作用，包括文本生成、语言翻译和情感分析。

文本生成

Token 帮助 AI 模型创建连贯且符合语境的句子。在生成文本时，AI 模型（包括 Copilot 使用的那些）会根据之前的所有内容，一次一个 Token 地预测下一个最可能的 Token。这种逐步预测是大型语言模型背后的 核心机制 。

语言翻译

分词帮助将句子分解为可管理的单元，甚至细化到字符，从而允许 AI 模型准确地翻译每个部分。如果你想将句子“I walked to the store”从英语翻译成西班牙语， Copilot 会将其分解为 Token，然后翻译每个 Token，给你翻译后的句子“Yo caminé a la tienda”。

分词在不同语言间变得更加棘手。有些语言不使用空格，有些则有复杂的单词形式。子词分词帮助模型处理这些差异，但这可能会增加某些语言的 Token 数量。这就是为什么翻译质量和长度会有所不同。

情感分析

理解情感不仅仅关乎单个 Token——还关乎语境。通过将文本分解为 Token，Copilot 可以更好地理解整体信息是积极的、消极的还是中立的。例如，如果你在网上购物并告诉 Copilot：“This product is cute, but the sizing is not accurate, and I had to return it for a different size”（这个产品很可爱，但尺码不准，我不得不退换不同尺码），它可以将句子分词为 [“This”, “product”, “is”, “cute”, “,”, “but”, “the”, “sizing”, “is”, “not”, “accurate”, “,”, “and”, “I”, “had”, “to”, “return”, “it”, “for”, “a”, “different”, “size”, “.”] 这样的结构。像“not bad”这样的短语表明为什么 Token 关系比单个单词（如“bad”）更重要。这就是为什么每次对话的语境都很重要，有助于 Copilot 更好地理解你的语气并给出更好的回应。分词提供了碎片，但语境决定了意义。

代码生成

代码的分词方式与散文不同。符号、缩进和换行符都承载着意义。一个缺失的括号或空格可能会改变代码的行为，因此精确的 Token 处理至关重要。

分词的挑战和局限

分词并不完美：单词可能会被尴尬地分割，有时会导致误解。罕见的名称、技术术语或行话通常会分解成许多小 Token，这使得它们更难处理。分词在不同语言中的行为不同，这可能会影响准确性并可能导致误解。研究人员正在探索替代方案，包括字符级和字节级方法，以提高灵活性和效率。

AI 中 Token 的未来

随着 AI 模型的不断发展，分词将在提高生成文本的质量和相关性方面发挥关键作用。这些进步将对 AI 驱动的工具和应用产生重大影响，使其更加高效和有效。Token 也在随着 AI 模型演进。更长的上下文窗口将允许对整个文档或长对话进行推理，而多模态 Token 将代表图像、音频和视频——不仅仅是文本。更高效的分词可以降低计算成本和环境影响。随着这些改进的实现，与 Copilot 和其他 AI 工具的交互将感觉更加无缝和强大。

AI 的基石

从文本生成到语言翻译再到情感分析，分词在 AI 模型与其用户的交互方式中起着巨大作用。正因为有了这些基石，你可以与 Copilot 进行持续的对话，Copilot 也可以针对你的查询提供更具语境意识且相关的回复。今天就试用 Copilot ，开启一个充满可能性的世界。

常见问题解答