摘要：基于MXNet框架，针对同步并行下参数同步耗时过长这一问题，提出了一种多机同步并行下的训练数据动态分配算法。基于计算节点的计算效率，每一次迭代后将动态调整节点需要处理的样本数据量。这样的机制使模型既能同步并行也降低了等待梯度更新的耗时。最后，利用天河二号超级计算机对此优化算法进行了对比实验，实验结果表明，所提出的优化机制达到了预期效果。

关键词：深度学习 数据分配 同步并行 并行训练 超级计算 

单位：中山大学数据科学与计算机学院; 广东广州510006