本周我们将在【C楼活动室C220】为大家带来计科91班王子轩同学关于机器学习理论的报告！
王子轩
王子轩同学是2019级（计科91）本科生。2022年春研期间，他在鬲融副教授指导下进行了机器学习理论与非凸优化方向的研究。本次Seminar，他将分享他在春研期间进行的Edge-of-Stability理论解释的工作。Edge of Stability (EoS) [Cohen et al. ICLR 2021] 是发生在神经网络使用梯度下降（gradient descent）进行训练的过程中发生的一种普遍现象：对于一个固定的学习率（step size），神经网络的Hessian矩阵的最大特征值从训练开始会逐渐增大, 随后保持在2/(step size)上下震荡。这虽然违反了传统学习理论中保证梯度下降能减小损失函数的L-smoothness条件，但事实上，损失函数仍然能够呈现非单调下降的趋势。什么样的函数能发生EoS现象？在EoS发生时，如何分析模型的收敛性与训练轨迹？在本次报告中，他将介绍其工作中提出的【能发生EoS现象的一个最简模型】与【其在训练过程中的收敛轨迹】，以及这个简单模型与【现实模型的联系】。
欢迎全体姚班同学参加！
Make IIIS Great Again!
