支持 FP8 和 PyTorch 250摩尔线程发布 Torch-MUSA v200?java人脸识别开源库
,并通过多项针对 MUSA 计算平台的性能优化,进一步提升了对 AI 模型和大规模数据处理的支持能力。
作为本次升级的核心亮点,Torch-MUSA v2.0.0 率先在国产 GPU 上实现了对 FP8 数据类型的完整支持。
FP8 是当前 AI 计算的一种前沿低精度格式,在支持原生 FP8 的 GPU 上,大语言模型(LLM)训练采用 FP8 混合精度可大幅提高 GPU 算力,显著降低显存占用。
Torch-MUSA v2.0.0 在 MUSA 计算平台引入多项创新功能,进一步提升深度学习任务的执行效率:
新增虚拟内存管理支持: MUSA 虚拟内存管理技术能够有效缓解 GPU 内存碎片化问题,降低模型训练过程中的峰值内存占用,特别适用于 FSDP、DeepSpeed 和 Megatron-LM 等主流大模型训练框架。 新增 MUSA Graph 支持: MUSA Graph 技术将多个 MUSA 内核整合到一个图中,通过单次 CPU 调度大幅减少启动开销,提升计算效率,同时与 CUDA Graph 接口高效兼容。ile 增加 Triton 后端支持: 为pile 提供了 Triton-MUSA 后端支持,开发者可以直接使用 PyTorch 原生接口,获得更高效的性能表现。
Torch-MUSA 已完全开源,开发者可通过访问 GitHub 获取源代码。IT之家附开源地址:
版权声明:
本站严格遵守《信息网络传播权保护条例》,仅分享已标注来源的公开事实信息,不复制原创内容。若权利人认为内容侵权,请于30日内联系,我们将立即核实并删除。网站邮箱;yuzhibolangzi@gmail.com 通知邮箱谢谢!