成本究竟花在哪儿了？

在着手优化之前，你需要先搞清楚 LLM 推理过程中的钱都流向了哪里：

• GPU 时长： 这是成本的主要推手。租赁或持有 A100 和 H100 GPU 的价格不菲。
• 内存带宽： 大型模型主要受限于内存带宽，而非计算能力。从内存中搬运权重数据的速度慢且代价高。
• 网络出口流量： 在不同区域或云端之间传输数据，费用积少成多。
• 闲置时间： 当 GPU 处于空闲状态等待请求时，就是在白白浪费资金。

降本的四种核心策略

1. 批量处理请求

批处理是指将多个请求合并，一次性通过模型进行前向传播。这是 LLM 服务中性价比最高的优化手段。

原理： GPU 生来就是为了并行计算而设计的。单个请求会让 GPU 的大部分核心闲置。而批处理能通过同时处理多个请求，让 GPU 忙碌起来。

实施方案：

• 在你的服务堆栈中引入批处理器——比如 vLLM、Triton 推理服务器，或者自行开发批处理逻辑。
• 开启 动态批处理 功能，并设定最大等待时间（通常为 10-20 毫秒）。
• 依据 GPU 显存大小和延迟要求，设定批处理大小的上限。
• 实时监控队列深度，防止因批处理而导致延迟过高。

权衡代价：

• 在低流量场景下会增加延迟（通常为 10-20 毫秒）。
• 需要对批处理大小和超时参数进行细致的调优。
• 不同规模的模型可能需要配置不同的批处理参数。

优化效果： 批处理能将吞吐量提升 2 到 4 倍。这意味着在同等负载下，你所需的 GPU 数量可以减少 50% 到 75%。

2. 利用 KV 缓存优化

Key-Value（KV）缓存用于存储先前 Token 的注意力键值，从而避免了为生成每一个新 Token 而进行的重复计算。

原理： 在自回归生成过程中，每一个新生成的 Token 都需要关注之前所有的 Token。如果没有缓存，每次生成新 Token 都要重新计算之前所有 Token 的注意力。而利用 KV 缓存，你只需计算新 Token 的注意力即可。

实施方案：

• 在你的模型服务器中启用 KV 缓存（vLLM 会自动且高效地完成这一步）。
• 实施 PagedAttention 算法以实现高效的显存管理（这是 vLLM 的核心技术）。
• 针对长对话制定驱逐策略，防止发生内存溢出（OOM）错误。
• 持续监控 KV 缓存占用的显存比例。

权衡代价：

• KV 缓存会占用相当可观的 GPU 显存，因此在规划容量时需留有余地。
• 对于极短的生成任务，内存开销可能得不偿失。
• 针对长时运行的会话或对话，需要设计相应的驱逐策略。

优化效果： 对于上下文长度超过数百个 Token 的情况，KV 缓存可将每 Token 的计算量降低 50% 到 70%。上下文越长，收益越明显。

3. 模型量化

量化是指将模型权重从高精度格式（FP16/FP32）转换为低精度格式（如 INT4, FP8, INT8）。

原理： 更小的权重意味着更低的内存占用和更快的计算速度。由于 LLM 推理的瓶颈通常在于内存带宽，因此减小权重体积能直接转化为推理速度的提升。

实施方案：

• 使用 AWQ（Activation-aware Weight Quantization）进行 INT4 量化，能最大程度保持模型质量。
• 尝试使用 GPTQ 进行训练后量化。
• 利用 TensorRT-LLM 或 llama.cpp 进行针对量化模型的高效推理。
• 在生产环境部署前，务必在你的评估数据集上对量化后的模型进行测试。

权衡代价：

• 模型质量可能会下降，尤其是在小模型或激进量化的情况下。
• 某些量化方法需要校准数据。
• 并非所有操作都能被高效地量化。
• 不同的层可能需要采取不同的量化策略。

优化效果： INT4 量化能将内存占用削减 75%，并将推理速度提升 1.5 至 2 倍。原本需要 4 张 A100 GPU（FP16 格式）才能跑动的 70B 模型，在 INT4 下只需单张 A100 即可运行。

4. 智能调度策略

通过智能请求调度和自动扩缩容，确保你不会为闲置的 GPU 买单，同时又能维持低延迟。

原理： GPU 的成本是按小时固定计算的，无论你的利用率是 10% 还是 100%。智能调度旨在最大化利用率，同时避免因冷启动而损害延迟体验。

实施方案：

• 维护一个已加载模型的 GPU 预热池。
• 基于队列深度和延迟指标实施自动扩缩容，而不仅仅依赖流量。
• 利用 装箱算法 将请求高效地分配给 GPU。
• 优先将流量路由到负载最低的实例。
• 如果流量高峰可预测，提前进行预防性扩容。

权衡代价：

• 过度扩容（保持过多预热 GPU）会抵消节省下来的成本。
• 扩容不足会影响延迟和用户体验。
• 冷启动（加载模型）可能耗时 30-60 秒。
• 需要良好的可观测性来调优扩缩容参数。

优化效果： 在批处理和量化的基础上，智能调度还能通过消除闲置时间和合理调整容量，再节省 10% 到 20% 的成本。

策略组合拳

这些优化手段并非互斥，而是可以叠加使用。以下是一个模拟场景：

• 基准线： 70B 模型，无优化，FP16 精度 → 需 4 张 A100 GPU，每 GPU 每小时 $2.50，日耗 $240。
• + 批处理： 吞吐量提升 2.5 倍 → 约需 1.6 个 GPU 的容量 → 日耗 $96。
• + 量化 (INT4)： 单张 GPU 即可容纳原本 4 张 GPU 的量 → 同等容量下日耗 $60。
• + 智能调度： 减少 15% 的闲置时间 → 日耗降至 $51。

总计节省：成本降低 79%（从每天 $240 降至 $51）

需注意的权衡

每种优化都伴随着代价。请留意以下几点：

• 批处理 vs 延迟： 虽能大幅提升吞吐量，但会增加 10-20 毫秒的等待时间。不适合对延迟极敏感的场景。
• 量化 vs 质量： INT4 虽省钱，但可能损害准确性。务必在评估集中测试，并监控生产环境下的质量指标。
• KV 缓存 vs 显存： 加快推理速度的同时会占用 GPU 显存，可能会限制批处理大小或并发请求数。
• 自动扩缩容 vs 稳定性： 激进的扩缩容策略省钱，但在流量激增时面临冷启动风险；保守策略则会在闲置容量上浪费资金。

实战步骤指南

准备好削减 LLM 成本了吗？以下是一份实操路线图：

1. 从批处理入手 - 风险最低且收益最快的方案。在你的服务堆栈中开启动态批处理。
2. 增加 KV 缓存 - 对于生成类任务几乎总是有益的。使用 vLLM 或在现有服务器中启用该功能。
3. 测试量化 - 在评估集上运行 INT4/FP8 模型。如果质量达标，先将其部署至小比例流量中进行验证。
4. 实施智能调度 - 基于队列深度和 p95 延迟（而非单纯的请求率）来配置自动扩缩容。
5. 监控关键指标 - 持续追踪 GPU 利用率、p95 延迟、每千次请求成本以及质量指标。
6. 持续迭代 - 根据生产环境数据，不断调优批处理大小、超时时间和扩缩容阈值。

工具与参考资源

• vLLM - 具备 PagedAttention 技术的高吞吐量、高内存利用率 LLM 服务引擎。
• Triton Inference Server - NVIDIA 出品的支持动态批处理的推理服务平台。
• AWQ - 用于生成 INT4 模型的激活感知权重量化工具。
• TensorRT-LLM - 专为 NVIDIA GPU 上的 LLM 推理优化的库。
• 基于我在 Google、Uber 和 Microsoft 的经验：结合批处理与量化，在不同模型规模和应用场景下均能稳定实现 40-60% 的成本缩减。