最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed
DeepSpeed是一个深度学习优化软件套件，使分布式训练和推理变得简单、高效和有效。它可以做些什么呢？训练/推理具有数十亿或数万亿参数的密集或稀疏模型；实现出色的系统吞吐量并有效扩展到数千个GPU；在资源受限的GPU系统上进行训练/推理；实现前所未有的低延迟和高吞吐量的推理；以低成本实现极限压缩，
社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一
详细介绍分布式机器学习系统的基础概念、分布式训练集群架构、分布式训练并行策略，并以DeepSpeed 为例介绍如何在集群上训练大语言模型。
据说有了它，ChatGPT 就可以靠边站了。因为 Auto-GPT 能更加主动地完成你给他的指定任务，不用做更多的人为干涉，它的推理能力比 ChatGPT 更强，有人用它解放双手做了个 React 网站。当然除了升级的 Auto-GPT 之外，还有 DeepSpeed，它能极大地降低训练成本。这两个
MoneyPrinterPlus现在支持批量混剪,一键AI生成视频，一键批量发布短视频这些功能了。 之前支持的大模型是常用的云厂商，比如OpenAI,Azure,Kimi,Qianfan,Baichuan,Tongyi Qwen, DeepSeek这些。 支持云厂商的原因是现在大模型使用基本都很便宜
