多机训练总 OOM:显存优化的几板斧,你用到哪一步了

训练大模型最常见的就是显存不够。按投入产出排个序,大家看看用到哪了:混合精度(bf16)基本必开,梯度检查点用时间换显存很有效,ZeRO 分片(优化器状态/梯度/参数逐级切)是多卡标配,再不够就张量并行、流水并行上,还有 CPU/NVMe offload 兜底但会拖慢。推理侧则是 KV cache 量化、PagedAttention、投机解码这几样。我的经验是先把 bf16 + 梯度检查点 + ZeRO 组合用满,大多数中等规模训练就够了。大家有没有被哪个坑卡很久的,比如通信变成瓶颈、并行策略配错?