本发明公开一种基于分布式内存管理的大模型训练故障恢复方法，当判断当前训练轮次需要进行检查点保存业务，获取当前时刻模型状态，并将获取到的模型状态序列化成可存储的格式，生成检查点数据；然后将检查点数据从节点内设备端内存传输至主机端内存；并在传输完毕后继续训练任务，同时进行异步检查点保存；异步检查点保存包括数据分布式内存备份和数据持久化到磁盘两种；训练任务出错时，通过检查点数据进行任务恢复。本发明故障恢复时优先从内存中读取备份数据，可以显著减少因磁盘I/O瓶颈导致的延迟，从而减少因保存或加载检查点数据操作而导致的训练暂停或效率下降，保持GPU或其他计算资源的高效利用，提高大规模模型训练的连续性和稳定性。