Introducing Proactive Agents.
Learn moreAI tokens
AI Token 是对话式 AI系统和语言模型用于处理和生成响应的基本文本构建块。大多数大型语言模型（LLM）并不是处理整个单词或字符，而是将所有内容分解为 Token，即小的语言单位，可能是一个完整的单词、单词的一部分或标点符号。这种分词过程使模型能够更灵活、高效地处理语言。
当你向 AI 提问时，你的输入首先会被转换为 Token。然后模型分析这些 Token，预测序列中最可能的下一个 Token，并继续逐个生成 Token，直到形成完整的响应。之后，这些 Token 会被重新拼接成你在屏幕上阅读的单词和句子。
How AI tokens work
一个 Token 通常大约是四个英文字符，但这因语言和使用的分词器而异。简短的常用词，如 "dog" 或 "fast"，通常是单个 Token，而较长的单词，如 "unbelievable"，可能会被分解成几个 Token。甚至空格和标点符号也可以成为单独的 Token。
这一点很重要，因为 LLM 有一个一次可以处理的 Token 数量硬性限制。这个限制被称为上下文窗口（Context Window）。如果输入中的 AI Token 总数加上模型的输出超过限制，可能需要删除或总结对话的较旧部分，模型才能响应。
例如，一个具有 8,000 个 Token 上下文窗口的模型可以轻松处理几页文本或冗长的来回对话。一个具有 32,000 个 Token 窗口的模型可以接收一份完整的报告，对其进行分析，并且仍有空间生成详细的评论。
Why AI tokens matter for businesses
理解 Token 具有实用性，而不仅仅是技术性。由于 AI 平台通常根据处理的 Token 数量为其服务定价，Token 使用直接影响成本。一个每天处理数千次对话的客户服务聊天机器人，其成本可能会根据其使用 Token 的效率而出现巨大差异。
Token 还决定了在一次交互中可以容纳多少信息。如果你需要 AI 分析一份长合同或支持多轮对话，你必须确保 Token 预算足够大，以便在不丢失上下文的情况下处理所有内容。
Managing token usage
部署 AI Agent 的公司通常会监控 Token 消耗，以控制费用并提高性能。最佳实践包括：
- 尽可能压缩输入：总结长历史记录或修剪冗余文本
- 保持提示聚焦：避免不必要的填充语言，这会消耗 Token
- 策略性地使用更大的模型：将具有非常大 Token 限制的模型用于复杂情况
AI tokens and customer experience
对于面向客户的应用程序，高效的 Token 管理意味着更快的响应和更低的延迟。它确保关键信息（例如客户之前的问题或帐户状态）保留在对话历史记录中，而不会挤占下一个响应的空间。做得好，它既能保持 AI 驱动的服务具有成本效益，又能保持高度相关性。
Deliver the concierge experiences your customers deserve
Get a demo
