内容概览
2025年上半年，企业级 LLM 支出飙升至 84 亿美元，近四成企业年均投入超 25 万美元——更有高达 96% 的公司反馈实际成本严重超出了早期预算。具体到 AI Agent（智能体）领域，经济账更是难算：Agent 调用 LLM 的次数是普通聊天机器人的 3 到 10 倍；若缺乏控制，一个解决软件工程任务的 Agent，单是 API 费用就可能烧掉 5 到 8 美元。
好消息是，业界在控制 Agent 成本方面已摸索出了一套成熟打法。那些综合运用了多种策略——包括智能路由、多级缓存、提示词压缩、批推理调度以及预算治理的团队，普遍实现了在输出质量不降的前提下，将 Token 消耗降低了 60% 至 80%。本文将深入剖析这套技术栈的每一层，探讨其中涉及的工程权衡，以及在大规模落地中维持成本纪律所需的组织实践。
生产环境中 Agent 的隐形经济账
为何 Agent 成本会在规模爆发
单次 Agent 对话若平均只消耗 0.14 美元的 Token 费用，看似微不足道。但若放大到 3000 名员工，每人每天触发 10 次，日成本将达到 4200 美元——年化高达 150 万美元。这就是所谓的“Token 陷阱”：在演示阶段看似合理的单体经济模型，一旦进入生产环节就会变得难以为继。
以下几个结构性因素加剧了这一问题：
递归调用的开销。 Agent 执行任务并非单次调用 LLM，而是反复迭代。每次工具调用的结果都会被追加到上下文中，并在下一轮完整重发。一个 10 步的 Agent 任务可能会导致累积的上下文被传输 9 次，这意味着原本 2000 Token 的起始提示，在任务结束时可能膨胀成数万 Token 的输出量。
系统提示的重复计费。 多数生产环境 Agent 每次调用都会携带 2000 至 8000 Token 的系统提示。若未利用前缀缓存，这将构成一笔巨大的固定开销，且每调用一次 API 都要重新买单。
多 Agent 场景下的 Token 泛滥。 当 Agent 之间进行通信时，常见的反模式是传递完整的对话历史而非摘要。管道中的推理 Agent 并不需要检索 Agent 的完整逐字记录，它只需要结构化的输出结果。若缺乏显式的上下文控制，随着 Agent 数量增加，多 Agent 系统的成本会呈指数级上升。
失控循环。 2025 年 11 月，两个基于 LangChain 的 Agent 陷入了无限对话循环，在运行 11 天后产生了 47,000 美元的账单才被人为中止。这个极端案例深刻揭示了后果：若不将 Token 预算作为核心设计约束，而只是事后诸葛亮，代价将何等惨重。
模型定价格局
理解不同层级模型之间的价差，是制定任何优化策略的基石。截至 2026 年初：
| 层级 | 代表模型 | 价格区间 |
|---|---|---|
| 高端推理型 | GPT-4, Claude Opus | 每百万 Token $30–60 |
| 中端能力型 | GPT-4 Turbo, Claude Sonnet | 每百万 Token $10–15 |
| 轻量快速型 | GPT-3.5, Claude Haiku | 每百万 Token $0.50–2 |
| 小型专用型 | Mistral 7B, Phi-3 | 每百万 Token $0.10–0.50 |
高端模型与小型模型之间高达 100 到 300 倍的成本差距，正是成本优化的核心杠杆。工程挑战在于，如何精确识别出哪些查询真正需要昂贵的高端算力。
模型路由：匹配复杂度与能力
核心原理
模型路由——即根据复杂度信号动态选择 LLM 的做法——在 2025 至 2026 年已成为标准配置。OpenAI 的 GPT-4o 架构会依据查询复杂度，显式地在快速高效模型与深度推理模型之间切换。市场主流也已跟进。
采用系统化路由的组织报告称成本降低了 30% 至 70%。一个实施良好的级联系统，若能将 90% 的查询导向廉价模型，仅将昂贵算力保留给真正复杂的任务，可实现在基础设施支出上降低 87% 的成本。
路由信号
高效的路由器利用多种信号来对请求复杂度进行分类：
输入特征。 查询长度、是否包含多跳推理需求、结构化与非结构化输出预期、代码生成与自然语言的区别，以及是否包含领域专业术语，这些都与所需模型能力相关。
任务类型分类。 简单的事实查询、文档摘要和意图分类通常无需顶尖模型。而数学推理、复杂代码生成以及微妙的判断性任务往往需要。
历史表现。 对于生产系统中的复发性任务，基于不同模型层级的成功率实证数据能指导路由决策。若在 A/B 测试中，Claude Haiku 对某项任务的处理正确率达 94%，则无需动用 Claude Opus。
延迟要求。 交互式场景（如用户等待响应）与后台处理管道对模型延迟的容忍度不同。批处理管道可以在非高峰时段调度至高质量模型以降低成本。
实现选项
模型路由生态已相当成熟。LiteLLM、Portkey 和 OpenRouter 等工具均开箱即用地提供了多模型路由及故障转移配置。这些网关还带来了额外好处：供应商冗余。2025 年 OpenAI 发生宕机时，使用路由器的应用通过自动切换至 Anthropic 或 Google 而保持在线。
一个实用的级联架构包含三个决策点：
- 语义缓存检查 — 若存在语义相似的历史请求，直接返回缓存响应（节省 100% 成本）。
- 复杂度分级 — 简单任务导向轻量模型，复杂任务导向中端模型。
- 失败升级 — 若廉价模型的输出未通过质量检查，则升级至下一层级重试。
这种级联模式将昂贵的推理作为最后手段，而非默认选项。
多级缓存：在推理前拦截成本
为何缓存被利用不足
研究表明，31% 的 LLM 查询与先前的请求存在语义相似性。若缺乏缓存架构，这代表了三分之一的推理支出被结构性浪费——即针对本质上相同的问题重复计算。然而，许多生产系统即使实施了缓存，也往往只是事后补救。
第一层：精确响应缓存
最简单的形式是基于确切的提示文本缓存完整的 LLM 响应。缓存命中能带来 100% 的成本节约和近乎零的延迟。这适用于确定性工作流——如批处理摘要、文档分类以及模板化生成任务，其中相同的输入会真实重复出现。
实现非常直接：使用 Redis 或类似的键值存储保存响应，并配置可调的 TTL（生存时间）。挑战在于底层数据可能发生变化的动态场景下的缓存失效。
第二层：语义缓存
语义缓存将精确匹配扩展为基于嵌入相似度的近似匹配。当新查询的嵌入向量与缓存查询处于设定阈值内时，直接返回缓存响应或将其作为起点。
这里的工程权衡在于嵌入计算成本（低廉但非零）与推理成本（高昂）之间。对于高吞吐量的生产系统，这种权衡强烈倾向于语义缓存。GPTCache 等库将其作为 LLM API 调用前的插入层来实现。
第三层：前缀 / KV 缓存
前缀缓存运作于基础设施层。当连续的 API 调用共享相同的提示前缀（如系统提示）时，现代服务架构可以复用先前请求中的键值（KV）计算结果，而无需重新计算。
Anthropic 的前缀缓存在长提示上实现了 90% 的成本降低和 85% 的延迟缩减。OpenAI 的自动缓存也能节省 50% 的成本。只要提示词结构设计得当——将稳定内容（系统提示、工具定义、文档上下文）置于变量内容（用户轮次、查询）之前——这种机制对应用代码是透明的。
一个关键工程洞察：在 Agent 系统中，前缀缓存的最大价值在于缓存工具架构定义。一个拥有 30 多个工具定义的生产 Agent，每次调用可能携带 8000 至 15000 Token 的工具架构。若无前缀缓存，这部分费用在每一轮都会重新计费。
第四层：KV 缓存 disaggregation（分离）
先进的生产级部署使用 LMCache 和 Mooncake 等系统，在 GPU、CPU 和 SSD 存储之间实现多级 KV 缓存复用。这些系统允许为某次请求计算的 KV 张量被后续具有匹配前缀的请求检索和复用，甚至跨不同的服务实例。
SpeCache (2025) 进一步将此延伸为推测性 KV 缓存预取：系统预测下一个 Token 可能关注哪些 KV 对，并主动将其从 CPU 内存加载到 GPU，从而消除内存带宽瓶颈。
对成本敏感的部署的实际影响：组织可以在相同的 GPU 容量上运行更大规模的批次，将每 Token 成本降低 40% 至 70%。
提示词压缩：发送前精简 Token
LLMLingua 与压缩流水线
并非所有 Token 的语义权重都相等。自然语言研究表明，人类撰写的文本包含大量冗余——填充词、冗长表述和重复上下文，语言模型完全能从周围文本推断出来。
LLMLingua 及类似技术利用一个小型快速的 LLM 评估每个 Token 的重要性，并在提示发送给主模型前移除低信息量的 Token。在冗长的文档输入上，已展示出高达 20 倍的压缩比，同时保持了任务性能。
成本算术很简单：压缩器模型成本（极低） + 压缩后的推理成本 << 未压缩的推理成本。
上下文窗口作为成本驱动因素
一种不太明显的提示词压缩形式是对长期运行 Agent 的严格上下文管理。随着 Agent 在多轮对话中积累工具调用结果，若每轮都重发完整历史，上下文成本会呈二次方增长。
有效的策略包括：
迭代摘要。 当上下文接近阈值时，将早期的轮次总结为紧凑的表示。完整逐字稿归档于存储中，但不在每次调用时重发给 LLM。
工具结果压缩。 Agent 工具输出往往非常冗长。返回 500 行的数据库查询无需将所有 500 行都发给 LLM——Agent 应仅提取并转发相关子集。
结构化内存交接。 在多 Agent 管道中，Agent 之间应传递结构化摘要，而非完整对话历史。下游 Agent 需要的是结论和关键数据点，而非得出这些结论的推理轨迹。
Cloudflare 的 Code Mode 架构（2026 年 2 月）展示了这一原则的极致体现：将 2500 多个 API 端点折叠为两个工具，仅消耗约 1000 Token——而传统的 MCP 服务器则需消耗 117 万 Token。
批处理推理：让成本与延迟解耦
批处理规模经济学
实时推理以牺牲吞吐效率为代价优化延迟。批处理推理则反其道而行之：通过同时处理多个请求，GPU 计算和内存带宽利用率大幅提升。在对照基准测试中，将 32 个请求打包处理，可使每 Token 成本降低 85%，而延迟仅增加 20%。
许多 API 提供商现提供双层定价模式：
- 实时层：低延迟（毫秒至秒级），高价。
- 批处理层：高延迟（分钟至小时级），五折或更多折扣。
对于生产级 Agent 工负载，相当一部分任务本质上是异步的，完全可以容忍批处理延迟。文档处理、内容生成、数据清洗、定时分析——这些都不需要亚秒级的响应。
自托管部署中的连续批处理
运营自有推理基础设施（vLLM, TensorRT-LLM）的组织可受益于连续批处理：当前批次中的序列一旦完成，新请求立即插入，无需等待整批结束。结合 PagedAttention 的高效内存分配，连续批处理相比静态批处理可实现高达 23 倍的性能提升，显著增加 GPU 利用率并降低每 Token 成本。
预算治理：FinOps 层面
从成本意识到成本控制
技术优化降低了推理的单位成本。而预算治理则防止了无论单位效率如何，总成本都无限膨胀。
组织现状是：96% 的企业报告 AI 成本超出初始预算，仅 44% 建立了财务护栏。实施预算治理既需要工具支持，也需要组织承诺。
硬性限制与熔断机制
生产环境 Agent 应在框架或网关层面执行严格的 Token 预算上限。实用的控制手段包括：
- 单任务最大迭代次数。 若一个 Agent 发起 50 次工具调用仍未完成任务，几乎可以肯定它是陷入了死循环，而非“严谨工作”。
- 单次 Trace 的 Token 预算。 每个任务执行都有明确的 Token 配额。若预算耗尽，Agent 应返回部分结果而非继续计费。
- 多阈值成本警报。 在月度预测支出的 50%、80% 和 100% 设置警报，并采取升级响应：监控、审查、熔断。
- 按用户和功能的配额。 按用户群体和功能领域细分支出，能让成本异常在恶化前可见。