钱都花哪儿了？

着手优化之前，我们需要先搞清楚 LLM 推理过程中的主要开销构成：

• GPU 时长： 这是最主要的成本驱动因素。无论是租赁还是购买 A100 和 H100 GPU，价格都不菲。
• 显存带宽： 大型模型的推理瓶颈通常在于显存而非计算能力。从内存中搬运权重数据既慢又费钱。
• 网络出口流量： 在不同区域或云平台之间传输数据，费用积少成多。
• 闲置时间： 当 GPU 处于等待请求的空转状态时，实际上就是在浪费资金。

降本的四种策略

1. 请求批处理

Batching 机制是将多个请求合并，一次性通过模型进行前向传播。这是目前提升 LLM 服务效率最有效的单点优化手段。

原理： GPU 的设计初衷就是为了并行计算。如果只处理单个请求，GPU 大部分算力会处于闲置状态。通过批处理，让 GPU 同时处理多个请求，可以显著提高利用率。

实施路径：

• 在服务堆栈中引入批处理组件 —— 推荐使用 vLLM、Triton Inference Server，或者自行开发批处理逻辑。
• 开启 动态批处理（Dynamic Batching）功能，并设定最大等待时长（通常为 10-20 毫秒）。
• 依据显存大小和延迟要求，设定合理的批次大小上限。
• 实时监控队列深度，防止因批处理导致延迟过高。

权衡取舍：

• 在低流量时可能会增加 10-20ms 的延迟。
• 需要精细调优批次大小和超时参数。
• 针对不同规模的模型，可能需要配置不同的批处理策略。

收益： 批处理能将吞吐量提升 2 到 4 倍。换言之，在承载相同负载的情况下，你可以减少 50% 到 75% 的 GPU 数量。

2. 优化 KV Cache

键值缓存用于存储先前 Token 计算出的注意力键值对，从而避免在生成每一个新 Token 时重复计算。

原理： 在自回归生成过程中，每个新生成的 Token 都需要关注之前所有的 Token。如果没有缓存，每次生成都要重新计算所有历史 Token 的注意力。有了 KV Cache，你只需计算当前新 Token 的注意力即可。

实施路径：

• 在模型服务中启用 KV Cache（vLLM 已默认且高效地支持此功能）。
• 采用 PagedAttention 算法来实现更高效的显存管理（这是 vLLM 的核心技术）。
• 针对长对话场景，配置驱逐策略以防止显存溢出（OOM）。
• 持续监控 KV Cache 占用的显存比例。

权衡取舍：

• KV Cache 会占用大量 GPU 显存，需要提前规划容量。
• 对于极短的生成任务，其内存开销可能得不偿失。
• 针对长时间运行的会话，必须制定相应的缓存驱逐策略。

收益： 对于上下文超过几百个 Token 的场景，KV Cache 能将每个 Token 的计算量降低 50% 到 70%。上下文越长，收益越明显。

3. 模型量化

量化是指将模型权重从高精度格式（FP16/FP32）转换为低精度格式（如 INT4、FP8、INT8）。

原理： 更低精度的权重意味着更少的内存占用和更快的计算速度。由于 LLM 推理通常是内存带宽受限的，减小权重数据量能直接转化为推理速度的提升。

实施路径：

• 使用 AWQ（激活感知权重量化）技术进行 INT4 量化，能在最小化精度损失的同时减小体积。
• 尝试使用 GPTQ 进行训练后量化。
• 利用 TensorRT-LLM 或 llama.cpp 等工具运行优化后的量化推理。
• 在生产部署前，务必在评估数据集上对量化后的模型进行测试。

权衡取舍：

• 模型精度可能会下降，尤其是对小模型或进行激进量化时。
• 部分量化方法需要校准数据。
• 并非所有操作都能被高效地量化。
• 针对不同的网络层，可能需要采取差异化的量化策略。

收益： INT4 量化最高可削减 75% 的内存使用，并将推理速度提升 1.5 到 2 倍。原本需要 4 张 A100 GPU（FP16 格式）才能运行的 700 亿参数模型，在 INT4 下仅需单张 A100 即可运行。

4. 智能调度

通过智能请求调度和自动扩缩容，确保既不因 GPU 空闲而浪费资金，又能维持低延迟。

原理： GPU 的成本是按小时固定计算的，无论你的利用率是 10% 还是 100%。智能调度旨在最大化利用率，同时避免因冷启动导致延迟飙升。

实施路径：

• 维护一个 GPU 预热池，确模型已预加载。
• 不要仅依据流量，而是基于队列深度和延迟来实施自动扩缩容。
• 利用 装箱算法（Bin-packing）高效地将请求分配给各个 GPU。
• 优先将流量路由至负载最低的实例。
• 如果在可预测的流量高峰来临前，实施预防性扩容。

权衡取舍：

• 过度扩容（保持过多热备 GPU）会抵消节省下来的成本。
• 扩容不足会损害延迟表现和用户体验。
• 冷启动（加载模型过程）可能耗时 30-60 秒。
• 需要良好的可观测性来调优扩缩容参数。

收益： 在批处理和量化的基础上，智能调度还能通过消除空闲时间和合理调整容量，再节省 10% 到 20% 的成本。

策略组合拳

上述优化手段并非互斥，而是可以叠加生效。以下是一个真实的模拟场景：

• 基线： 70B 模型，无优化，FP16 精度 → 需 4 张 A100 GPU，单价 $2.50/小时，日花费 $240。
• + 批处理： 吞吐量提升 2.5 倍 → 约需 1.6 张 GPU 的算力 → 日花费降至 $96。
• + 量化 (INT4)： 显存占用减少，单张 GPU 即可承载 → 日花费降至 $60。
• + 智能调度： 减少 15% 的空闲时间 → 日花费最终降至 $51。

总计节省：成本降低 79%（从每天 $240 降至 $51）

必须关注的权衡

任何优化都有代价。以下是你在实施时需要警惕的关键点：

• 批处理 vs 延迟： 吞吐量虽高，但会增加 10-20ms 的等待时间。不适合对延迟极端敏感的场景。
• 量化 vs 质量： INT4 虽然省钱，但可能损伤准确性。务必在评估集上测试，并监控生产环境的质量指标。
• KV Cache vs 显存： 推理速度变快，但吃显存。可能会限制批次大小或并发请求数。
• 自动扩缩容 vs 稳定性： 激进的扩缩容虽省钱，但在流量突增时面临冷启动风险；保守的策略则会在空闲容量上浪费资金。

行动指南

准备好削减你的 LLM 成本了吗？以下是一份实操路线图：

1. 从批处理开始： 这是最容易实现的低风险优化。在你的服务栈中开启动态批处理。
2. 引入 KV Cache： 对于生成类任务几乎总是有益的。直接使用 vLLM 或在现有服务中启用。
3. 尝试量化： 在评估集上运行 INT4/FP8 模型。如果质量达标，先在部分流量中进行灰度部署。
4. 实施智能调度： 基于队列深度和 p95 延迟配置自动扩缩容，而不仅仅依赖请求率。
5. 监控关键指标： 持续追踪 GPU 利用率、p95 延迟、每千次请求成本以及质量指标。
6. 持续迭代： 根据生产数据不断调优批次大小、超时时间和扩缩容阈值。

工具与参考

• vLLM - 具备 PagedAttention 技术，高吞吐且显存高效的 LLM 服务引擎。
• Triton Inference Server - NVIDIA 推出的支持动态批处理的推理服务平台。
• AWQ - 针对 INT4 模型的激活感知权重量化工具。
• TensorRT-LLM - NVIDIA GPU 上的 LLM 优化推理库。
• 个人经验总结：在 Google、Uber 和 Microsoft 的经历让我确信，批处理结合量化始终能在不同模型规模和场景下实现 40-60% 的成本降低。