对于像 Shopify 规模的商家助手，若不加优化，每日处理 1000 万次对话的月度开销高达 210 万美元；而经过优化后，这一数字可压低至 45 万美元。这 78% 的价差并非源于算法层面的突破，而是得益于缓存、路由策略以及多数团队在收到账单前容易忽视的工程纪律。
AI Agent 并非只是多了几个步骤的聊天机器人。单一的用户请求就会触发规划、工具选用、执行、验证，甚至包含重试循环——这消耗的 Token 大约是直接对话交互的 5 倍。若运行 10 个周期的 ReAct 循环，其 Token 消耗量甚至是单次传递的 50 倍。按前沿模型的定价来算，这笔账很快就会变成沉重的负债。
本文将深入剖析 Agent 成本的来源机制，并附上具体（带数据）的实战技巧，助你切实降低成本。
为何 Agent 成本不同于普通聊天机器人
首先要认清的是输出 Token 的溢价。各大主流服务商的输出 Token 定价通常是输入 Token 的 3 到 8 倍，因为生成过程是串行的，而输入处理则是并行的。对于侧重推理的模型，这一比例甚至达到 8:1。当你的 Agent 生成冗长的工具调用回复、详尽的推理轨迹或长篇摘要时，你必须为每一个输出的 Token 支付溢价。
上下文长度则加剧了这一问题。受注意力计算的二次方成本影响，处理 128K Token 的上下文成本大约是 8K 上下文的 64 倍。Agent 系统自然会累积上下文：系统提示词、工具定义、对话历史、检索到的片段以及工具响应。每一轮对话，上下文都在增长。大多数团队在预演阶段会发现这一点：原本在简短测试中每次任务只要 0.05 美元，面对真实的文档语料库时突然飙升至 1.50 美元。
目前，最贵与最便宜模型选项之间的差距约为 60 倍。以每百万输入/输出 Token 约 0.075/0.30 美元的 Gemini Flash-Lite 为例，对比定价 15/60 美元的前沿推理模型。这种差距是一种机遇——前提是你得有意识地进行路由。
Prompt 缓存：唾手可得的收益
Prompt 缓存的原理是复用先前请求中计算出的键值注意力张量，前提是新请求与旧请求拥有相同的前缀。Anthropic 对缓存的输入 Token 提供 90% 的折扣（0.30 美元/M 对比 3.00 美元/M），Google 提供 75% 折扣，而 OpenAI 则在符合条件的请求上自动应用 50% 的折扣。
对于 Agent 系统，这意味着什么？优化 Prompt 结构，确保静态内容置于顶部。系统提示词、工具定义、少样本示例、策略文档——这些都应构成稳定的前缀。动态内容（即实际的用户消息、当前轮次检索到的上下文）则置于末尾。这不仅仅是为了美观，它直接决定了缓存是否能生效。
实践证明，Claude Code 达到了 92% 的缓存命中率，交付了 81% 的成本降幅。固定的 10,000 Token 系统提示词在首次请求后几乎不再产生费用。某客户支持应用将其产品目录从动态插入改为缓存前缀后，在未影响输出质量的前提下，API 账单每月减少了 1.2 万美元。
除了成本，缓存还能降低延迟。在长前缀激活缓存时，平均响应延迟从 800 毫秒降至 350 毫秒，因为模型跳过了对稳定部分的注意力矩阵重算。
工程开销极小：缓存窗口的 TTL 范围从 5 分钟（Anthropic）到约 1 小时（OpenAI）不等。对于服务重复用户会话的 Agent，热缓存几乎始终可用。对于批处理管道，则应构建任务，使同一批次内的请求共享前缀。
模型路由与级联：将成本与复杂度匹配
并非每个查询都需要前沿模型。问题在于如何判断——答案取决于三个维度：推理复杂度、质量敏感度以及上下文长度。
在典型的生产级 Agent 工作负载中，分布大致如下：
- 60% 的任务属于简单类型：提取、分类、格式化、模板化回复。这些在价格低于 1 美元/M 的模型上运行即可。
- 25% 需要中等程度的推理：多跳问答、代码生成、结构化分析。中档模型（0.80-4 美元/M）足以应对。
- 12% 涉及真正的复杂性：模糊指令、长线规划、跨异构源的综合处理。此时高级模型才物有所值。
- 3% 需要前沿推理能力：新颖问题、高风险决策、突发行为。
实施得当的路由系统可在典型 Agent 部署中削减 30-60% 的成本，顶尖实现甚至能达到 87%。
Agent 系统的实用模式是将编排与执行分离。在规划层使用昂贵的模型——它只需读取相对简短的任务描述并做出路由决策，因此 Token 消耗有界。在执行步骤中使用廉价模型：摘要、提取、格式转换、检索排序。由 Claude Haiku 执行工具调用，而 Sonnet 或 Opus 负责规划整体策略，这是一种常见且高效的分工。
模型级联则更进一步：每个请求都从最便宜的一层开始，根据标准（置信度、格式有效性、如有检索源则看事实依据）对响应打分，若分数低于阈值则升级。级联带来的额外延迟通常是值得的——大多数请求在第一层即完成，只有少数难题才会触发升级。
基于置信度的路由需要校准。如果你自己构建，对数概率熵是开源模型的一个可用信号。对于专有 API，你需要一个代理评估器（通常是一个更小、更快的模型，用于检查首次响应是否达标）。代理的成本通常只占路由节省费用的不到 5%。
上下文压缩：精简输入内容
上下文中的每个 Token 都有直接成本。上下文压缩的做法就是将上下文剥离至任务所需的最低限度。
滚动摘要 是基线技术。与其传递完整的对话历史，不如每 N 轮（通常是 5-10 轮）进行一次摘要。摘要向后传递，完整记录则归档。这使得上下文增长随摘要频率呈线性关系，而非随轮次线性增长。权衡之处在于，早期轮次的细枝末节将不可用——这对大多数用例可以接受，但对于需要记住每个决策的代码审查 Agent 则不可接受。
工具输出掩蔽 常被忽视。当 Agent 调用网页抓取器、API 或数据库查询时，原始响应通常包含标题、元数据以及与当前任务无关的字段。在将其插入上下文之前剥离这些内容，可减少 60-80% 的工具输出 Token。为每种工具类型编写后处理器，仅提取模型真正需要的字段。
习得式压缩 工具（如 LLMLingua）利用较小的模型来压缩提示词，识别并移除低信息量的 Token。据报告，客户服务提示词从 800 Token 减至 40 Token（减少 95%），同时保持了可接受的准确性。难点在于：压缩本身需要 LLM 调用，增加了延迟和 Token 成本。只有当压缩后的提示词被跨多个请求复用，或压缩器的成本远低于主模型成本时，这笔账才算得过来。
检索相关性过滤 很直接：不要传递所有检索到的块，只传递余弦相似度高于阈值的部分。将阈值从 0.7 提高到 0.8，通常能减少 40-60% 的检索 Token，同时降低可能分散模型注意力的噪声。
语义缓存：彻底消灭调用
语义缓存通过输入的 Embedding 对 LLM 响应进行索引存储。新查询到达时，将其 Embedding 与缓存查询进行比对——若相似度超过阈值，则直接返回缓存响应，无需调用 API。
在典型的生产工作负载中，约有 31% 的 LLM 查询具有足够高的语义相似度，可从中受益。缓存命中返回只需毫秒级，而非秒级，且 API 费用为零。对于支持聊天机器人、FAQ 系统以及查询分布呈集群状的应用，语义缓存可以直接消除 20-40% 的 API 调用。
权衡在于对新鲜度的敏感性。对于答案频繁变化的应用，陈旧数据是一种风险。根据内容领域的变化速度配置 TTL。对于静态知识库，激进的 TTL 是合适的。对于实时数据查询，则应完全禁用这些查询类型的语义缓存。
硬性限额是必选项
最廉价的优化手段是防止失控循环。一起有记录的生产事故表明：一个 Agent 在周末针对损坏的数据源发起 84.7 万次 API 调用，在账户被暂停前累计产生了 3,847 美元的费用。另一起案例：一个 Agent 在五分钟内调用了抓取工具 400 次，因为该工具返回了“可能还有更多结果”——而 Agent 将其解读为继续抓取的邀请。
每个 Agent 在部署前都必须设置三项硬性限额：
- 单次任务最大迭代次数。 设置为预期平均值的 2-3 倍。大多数 Agent 框架（LangGraph、AutoGen、CrewAI）都将此作为一级配置暴露。
- 单次任务最大 Token 支出。 设置为预演阶段观察到的 P95 支出的 3 倍。将其实现为中间件，在每次模型调用前检查累积成本。
- 最大运行时长。 用于捕捉那些通过反复进行快速、廉价调用从而绕过 Token 预算的无限循环。
模糊的工具反馈是失控循环最常见的原因。如果工具能返回一种可被解读为“继续”的信号，Agent 就会一直运行下去。在工具输出模式中应明确指出：包含 is_complete 布尔值或 next_action_required 字段，而不是依赖模型去推断终止条件。
FinOps：上线前必备的监控工具
成本可见性是闭环的关键。缺乏它，优化只是盲人摸象，异常情况则是意外惊吓。
最低限度的可行监控层应追踪：
- 单次追踪成本。 每次 Agent 运行都应向可观测性系统发出其总成本（输入 Token × 价格 + 输出 Token × 价格，按模型层级细分）。
- 缓存命中率。 若此指标低于基线，说明 Prompt 结构或请求模式发生了变化。
- 输出 Token 比率。 输出 Token /（输入 + 输出）Token。比率上升通常意味着 Agent 过于啰嗦——通常可以通过在系统提示词中添加“简洁”来修复（这通常能减少 15-25% 的输出 Token）。
- 单次完成步数。 步数增加表明任务变难或 Agent 陷入困境。无论哪种情况都值得调查。
Langfuse、Helicone 和 Portkey 等工具在 API 网关层面提供了每次请求的成本跟踪和预算控制。对于异常检测，可设置相对于滚动基准线 2σ 偏差的花费警报——如果你关注此信号，大多数成本事故在几分钟内即可被检测到。
同一个 Agent 在未优化与经过良好优化的部署之间，成本差异可达 30 到 200 倍。这是目前大多数 AI 团队能获得的投资回报率最高的工程工作。
实操优先级顺序
如果你从零开始，请按以下顺序应用这些技巧，一旦达到成本目标即可停止：
- Prompt 缓存。 若框架支持，无需更改代码。将静态内容移至前缀。立竿见影。
- 硬性限额。 防止失控事故带来的尾部风险，让其他优化变得无关紧要。
- 输出 Token 控制。 在系统提示词中加入“简洁回复”。监控输出 Token 比率，观察其下降。
- 工具输出掩蔽。 为高吞吐量的工具编写后处理器。
- 模型路由。 按复杂度分类任务并路由至相应层级。从简单的基于规则的分类器开始；若量级证明合理，再升级为习得式路由器。
- 上下文压缩。 为长时间运行的会话实施滚动摘要。
- 语义缓存。 若查询分布具有足够的集群性，则添加此功能。
Agent 系统默认成本与经过良好工程化后的成本之间的差距并非微不足道。这正是项目能否上线、或者在预算审查时是否会被砍掉的关键区别。