| 来源：DoNews快讯 | 2023-06-27 17:36:56 |
(资料图片)
据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。
ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。
微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。
标签：
责任编辑：techtoutiao
