
用户
使用教程•2026/3/29
使用 DeepSpeed 优化分布式训练
#DeepSpeed#分布式#优化
## DeepSpeed 核心特性\n\n### ZeRO 优化\n- ZeRO-1: 优化器分片\n- ZeRO-2: 梯度分片\n- ZeRO-3: 参数分片\n\n### 配置示例\n```json\n{\n "zero_optimization": {\n "stage": 3,\n "offload_optimizer": {"device": "cpu"}\n }\n}\n```\n\n## 实际效果\n在 8xH100 上训练 70B 模型,速度提升 40%。
151890
