本周我们将给大家带来计科92班梅毅轩同学关于机器学习系统的报告
梅毅轩
梅毅轩是姚班2019级本科生，研究方向是编译器、分布式系统与机器学习的交叉领域。本次seminar他将介绍他和合作者在强化学习快速训练系统上的工作。深度强化学习近年来在诸多领域取得了成功，但是样本效率和训练时间限制了深度强化学习更广泛的应用。在这项工作中，梅毅轩和合作者基于高样本效率的model-based强化学习方法EfficientZero，设计了一套高效的分布式训练系统SpeedyZero。通过异步模块化设计，基于共享内存的高效进程间通讯和CPU-GPU数据传输优化，SpeedyZero大幅减少了训练关键路径的延时，提升了训练速度。同时，他们在算法上也提出了两项改进：为了解决在样本数和训练步数有限时value network训练不稳定的问题，他们提出了Priority Refresh；为了解决大规模并行训练和大batchsize下训练不稳定的问题，他们提出了Clipped LARS。在系统和算法的共同优化下， SpeedyZero仅需35分钟就可以在Atari100k测试集上取得人类水平，相较EfficientZero取得了14.5倍的速度提升。这项工作SpeedyZero: Mastering Atari with Limited Data and Time发表于Eleventh International Conference on Learning Representations (ICLR 2023)
欢迎全体同学参加~
【重复一遍时间地点】北京时间 3.18 周六 下午 15:00 - 16:00 点击此处进行时区转换 腾讯会议817-412-791
Make IIIS Great Again!
