2023年上半年，蚂蚁AIInfra团队开源了DLRover项目，致力于通过提升深度学习训练过程的智能性，来解决整个系统的提效问题，目前DLRover支持了蚂蚁深度学习系统中的自动资源动态优化与分布式训练稳定性的提升，这次我们也在DLRover项目中开放了内部真实使用的大模型训练加速的工作ATorch，用户通过它可以快速get工业级千亿模型千卡级训练提效体验。项目背景2023年上半年，蚂蚁AIInfra团队开源了DLRover项目，致力于通过提升深度学习训练过程的智能性，来解决整个系统的提效问题，目前DLRover支持了蚂蚁深度学习系统中的自动资源动态优化与分布式训练稳定性的提升，相当于为一辆

加速人工智能项目的默认方法是增加GPU集群的大小。然而，在GPU日益短缺的情况下，成本越来越高。许多人工智能公司“将其筹集的总资本的80%以上用于计算资源”，这无可厚非。GPU是人工智能基础设施的基石，应该为其分配尽可能多的预算。然而，在这些高昂的成本中，还有其他提高GPU性能的方法应该考虑，而且越来越必要。扩展GPU集群远非易事，尤其是在生成式人工智能暴力扩张导致GPU短缺的情况下。NVIDIAA100GPU是首批受到影响的GPU之一，而且它们现在非常稀缺，一些版本的交付周期长达一年。这些供应链挑战迫使许多人考虑将更高端的H100作为替代品，但很明显会付出更高的价格。对于那些投资于自己的基础