执行摘要
2025 年上半年，企业在大语言模型（LLM）上的支出已达 84 亿美元，其中近 40% 的企业年均投入超过 25 万美元 —— 更有 96% 的企业反馈其实际成本超出了最初的预估。具体到 AI Agent 领域，经济压力更为残酷：Agent 调用 LLM 的次数是普通聊天机器人的 3 到 10 倍，若缺乏约束，一个解决软件工程任务的 Agent 仅 API 费用一项就可能高达 5 至 8 美元。
值得庆幸的是，关于 AI Agent 成本优化的技术已日趋成熟。那些采用了全套策略的团队 —— 包括智能模型路由、多级缓存、提示词压缩、批量推理调度以及预算治理 —— 普遍报告称在不牺牲输出质量的前提下，将 Token 支出削减了 60% 至 80%。本文将深入探讨这一技术栈的每一层、涉及的工程权衡，以及在规模化落地时所需的组织管理实践。
生产环境 Agent 的隐性经济账
为何 Agent 成本会激增
单次 Agent 对话的平均 Token 成本若为 0.14 美元，看似微不足道。但将其扩展到 3,000 名员工，每人每天触发 10 次，日成本便会达到 4,200 美元，年累计成本高达 150 万美元。这正是所谓的“Token 成本陷阱”：那些在演示阶段看起来可行的单位经济模型，一旦进入生产环境便会变得难以为继。
几个结构性因素加剧了这一问题：
递归式工具调用开销。 Agent 并非每任务只调用一次 LLM —— 它们是迭代的。每次工具调用的结果都会被附加到上下文中，并在下一轮完整重新发送。一个包含 10 个步骤的 Agent 任务可能会传输 9 次完整的累积上下文，这意味着最初 2,000 个 Token 的提示词在任务结束时可能膨胀为数万个输出 Token。
系统提示词的重复传输。 大多数生产级 Agent 在每次调用时都会携带 2,000 到 8,000 个 Token 的系统提示词。若没有前缀缓存，这将构成一笔巨大的固定开销，且每次 API 调用都会计费。
多 Agent Token 泛滥。 当 Agent 之间相互通信时，一种常见的反模式是传递完整的对话历史而非摘要。管道中的推理 Agent 并不需要检索 Agent 的完整逐字记录 —— 它只需要结构化输出。缺乏明确的上下文约束，多 Agent 系统会随着 Agent 数量的增加呈指数级变得昂贵。
失控循环。 2025 年 11 月，两个基于 LangChain 的 Agent 陷入了无限对话循环，持续运行了 11 天，在被发现前产生了 47,000 美元的账单。这个极端案例说明了当 Token 预算被视为事后补救而非设计约束时会发生什么。
定价格局现状
理解不同模型层级之间的成本差异是任何优化策略的基石。截至 2026 年初：
| 层级 | 示例 | 价格区间 |
|---|---|---|
| 高级推理型 | GPT-4, Claude Opus | 每百万 Token 30–60 美元 |
| 中端能力型 | GPT-4 Turbo, Claude Sonnet | 每百万 Token 10–15 美元 |
| 轻量极速型 | GPT-3.5, Claude Haiku | 每百万 Token 0.50–2 美元 |
| 小型专用型 | Mistral 7B, Phi-3 | 每百万 Token 0.10–0.50 美元 |
高级模型与小型模型之间 100 到 300 倍的成本差异，是任何优化策略的主要切入点。工程挑战在于识别出究竟有多少比例的查询真正需要使用昂贵的层级。
模型路由：将复杂度与能力匹配
核心原则
模型路由 —— 即基于复杂度信号为每个请求动态选择 LLM 的做法 —— 已成为 2025-2026 年的标准实践。OpenAI 的 GPT-4o 架构明确会根据查询复杂度在快速高效模型和深度推理模型之间进行路由。更广泛的市场也紧随其后。
采用系统性路由的组织报告称成本降低了 30% 至 70%。一个实施良好的级联系统，若能将 90% 的查询路由到廉价模型，仅将昂贵层级留给真正复杂的任务，便可在基础设施支出上实现 87% 的成本削减。
路由信号
高效的路由器利用多种信号来对请求复杂度进行分类：
输入特征。 查询长度、是否存在多跳推理需求、结构化与非结构化输出预期、代码生成与自然语言的差异，以及特定领域术语的存在，都与所需的模型能力相关。
任务类型分类。 简单的事实查询、文档摘要和意图分类通常不需要前沿模型。而数学推理、复杂代码生成和微妙的判断调用通常需要。
历史表现。 对于生产系统中的重复性任务，基于模型层级的成功率实证数据可以指导路由决策。如果 Claude Haiku 在 A/B 测试中能正确处理某项任务 94% 的时间，那么它就不需要 Claude Opus。
延迟要求。 交互式用例（用户等待响应）和后台处理管道对模型延迟的容忍度不同。批处理管道可以在非高峰时段路由到更高质量但成本更低的模型。
实现选项
模型路由的生态系统已显著成熟。LiteLLM、Portkey 和 OpenRouter 等工具都开箱即用地提供了多模型路由和故障转移配置。这些网关还带来了额外的好处：提供商冗余。当 2025 年 OpenAI 发生服务中断时，使用路由器的应用程序通过自动切换到 Anthropic 或 Google 而保持了在线。
一个实用的级联架构通过三个决策点来路由请求：
- 语义缓存检查 —— 针对语义相似的先前请求返回缓存响应（节省 100% 成本）
- 复杂度分类 —— 将简单任务路由到轻量级模型，复杂任务路由到中端模型
- 失败升级 —— 如果廉价模型的输出未通过质量检查，则使用上一层模型重试
这种级联模式将昂贵的推理视为最后的手段，而非默认选项。
多级缓存：在推理运行前转移成本
为何缓存未被充分利用
研究表明，31% 的 LLM 查询与先前的请求表现出语义相似性。如果没有缓存基础设施，这意味着三分之一的推理支出在结构上是被浪费的 —— 即针对本质上相同的问题重复进行相同的计算。然而，许多生产系统即使实现了缓存，也往往只是事后补救。
第 1 层：精确响应缓存
最简单的形式是基于确切的提示词文本缓存完整的 LLM 响应。缓存命中可带来 100% 的成本节省和接近零的延迟。这适用于确定性工作流 —— 批量摘要、文档分类和模板化生成任务，其中相同的输入确实会重复出现。
实现很简单：使用 Redis 或类似的键值存储来保存具有可配置 TTL 的响应。挑战在于动态上下文中的缓存失效，即底层数据可能发生变化的情况。
第 2 层：语义缓存
语义缓存利用嵌入相似性将精确匹配扩展为近似匹配。当新查询的嵌入与缓存查询的嵌入在阈值范围内时，将返回缓存响应或将其用作起点。
这里的工程权衡是嵌入计算成本（便宜但非零）与推理成本（昂贵）之间的对比。对于高吞吐量的生产系统，这种权衡强烈倾向于语义缓存。GPTCache 等类似库将其实现为 LLM API 调用之前的即插即用层。
第 3 层：前缀 / KV 缓存
前缀缓存运行于基础设施层。当连续的 API 调用共享一个公共提示词前缀（如系统提示词）时，现代服务基础设施可以重用上一次请求中的键值（KV）计算，而无需重新计算。
Anthropic 的前缀缓存在长提示词上实现了 90% 的成本削减和 85% 的延迟降低。OpenAI 的自动缓存实现了 50% 的成本节省。当提示词被结构化为将稳定内容（系统提示词、工具定义、文档上下文）放在可变内容（用户轮次、查询）之前时，该机制对应用程序代码是透明的。
一个关键的工程洞察：在 Agent 系统中，前缀缓存最高价值的用途是缓存工具架构定义。一个拥有 30 多个工具定义的生产 Agent 可能会在每次调用时携带 8,000 到 15,000 个 Token 的工具架构，这些架构在每个调用中都是完全相同的。如果没有前缀缓存，这部分每次都会被重新计费。
第 4 层：KV 缓存分离
先进的生产部署使用 LMCache 和 Mooncake 等系统，在 GPU、CPU 和 SSD 存储之间实现多级 KV 缓存复用。这些系统允许为一个请求计算的 KV 张量被后续具有匹配前缀的请求检索和复用，即使是在不同的服务实例之间。
SpeCache (2025) 进一步扩展了这一概念，引入了推测性 KV 缓存预取：系统预测下一个 Token 可能关注哪些 KV 对，并主动将它们从 CPU 内存加载到 GPU，从而消除内存带宽瓶颈。
对于成本敏感型部署的实际影响：组织可以在相同的 GPU 容量上运行更大的批次，将每个 Token 的成本降低 40% 至 70%。
提示词压缩：在发送前减少 Token
LLMLingua 与压缩流水线
并非所有 Token 都承载相同的语义权重。关于自然语言的研究表明，人类编写的文本包含大量冗余 —— 填充词、冗长的短语和重复的上下文，语言模型可以从周围的文本中推断出这些内容。
LLMLingua 和类似技术使用一个小型、快速的 LLM 来评估每个 Token 的重要性，并在将提示词发送到主模型之前移除低信息量的 Token。在冗长的文档输入上，已证明在保持任务性能的同时实现了高达 20 倍的压缩率。
成本计算很简单：压缩器模型成本（微小） + 压缩后的推理成本 << 未压缩的推理成本。
上下文窗口作为成本驱动因素
一种不太明显的提示词压缩形式是对长期运行的 Agent 进行严格的上下文管理。随着 Agent 在多个轮次中累积工具调用结果，如果每一轮都重新发送完整的历史记录，上下文带来的 Token 成本会呈二次方增长。
有效的策略包括：
迭代摘要。 当上下文接近阈值时，较早的轮次会被总结为紧凑的表示形式。完整的逐字记录被归档在内存中，但不会在每次调用时重新发送给 LLM。
工具结果压缩。 Agent 工具输出通常很冗长。一个返回 500 行的数据库查询不需要将所有 500 行都发送给 LLM —— Agent 应该仅提取并转发相关的子集。
结构化内存交接。 在多 Agent 流水线中，Agent 应该传递结构化摘要，而不是完整的对话历史。下游 Agent 需要的是结论和关键数据点，而不是产生这些结论的推理过程。
Cloudflare 的代码模式架构（2026 年 2 月）展示了这一原则的极致体现：将 2,500 多个 API 端点折叠为两个工具，仅消耗约 1,000 个 Token —— 相比于传统 MCP 服务器的 117 万个 Token。
批量推理：将成本与延迟解耦
批量大小经济学
实时推理以延迟为优化目标，牺牲了吞吐量效率。批量推理则反其道而行之：通过一起处理多个请求，GPU 计算和内存带宽的使用效率大大提高。在受控基准测试中，将 32 个请求一起批量处理可使每 Token 成本降低 85%，而延迟仅增加 20%。
许多 API 提供商现在提供双层定价模式：
- 实时层级：低延迟（毫秒到秒），溢价定价
- 批量层级：较高延迟（分钟到小时），折扣 50% 或更多
对于生产 Agent 工作负载，很大一部分任务实际上是异步的，可以容忍批量延迟。文档处理、内容生成、数据丰富、定期分析 —— 这些都不需要亚秒级的响应。
自托管部署中的连续批处理
运营自己的推理基础设施（vLLM, TensorRT-LLM）的组织受益于连续批处理：随着当前批次中的序列完成，新请求会立即被插入，而无需等待整个批次完成。结合 PagedAttention 的高效内存分配，连续批处理相比静态批处理实现了高达 23 倍的改进，显著提高了 GPU 利用率并降低了每 Token 的成本。
预算治理：FinOps 层面
从成本意识到成本控制
技术优化降低了推理的单位成本。预算治理则防止总成本无论单位效率如何都无限增长。
组织的现实情况是：96% 的企业报告 AI 成本超出初步预测，而只有 44% 的企业建立了财务护栏。实施预算治理既需要工具也需要组织的承诺。
硬限制与熔断机制
生产 Agent 应在框架或网关层面执行硬性的 Token 预算限制。实际的控制措施包括：
- 单任务最大迭代次数。 一个进行了 50 次工具调用仍未完成任务的 Agent，几乎可以肯定是因为陷入了死循环，而非工作细致。
- 单次追踪 Token 预算。 每个任务执行都有一个定义的 Token 预算。如果预算耗尽，Agent 应返回部分结果，而不是继续计费。
- 多阈值成本警报。 在预计月度支出的 50%、80% 和 100% 处设置警报，并采取升级响应：监控、审查、暂停。
- 按用户和按功能的配额。 按用户群体和功能领域细分支出，可在成本异常复合之前使其可见。