本周我们将在学堂 112 给大家带来计科 91 班徐苇杭同学关于理论机器学习的报告
徐苇杭
徐苇杭是姚班2019级本科生, 研究方向为理论机器学习. 本次seminar他将介绍他在华盛顿大学春研期间关于过参数化对训练神经网络收敛速率影响的工作. 使用梯度下降学习两层神经网络是深度学习理论的一个经典问题. 他们考虑在输入是标准高斯分布的情况下, 使用具有n个神经元的两层过参数化网络学习一个单独神经元的问题. 在n=1的情况下, 已有结果表明收敛速率是线性的. 而当n>1, 他们发现过参数化会导致收敛速率变为$\Theta(T^{-3})$ (其中T为迭代轮数), 这比精确参数化的情形指数级变慢.
欢迎全体同学参加~
【重复一遍时间地点】北京时间 4.23 周日 下午 14:00-15:00 学堂 112 点击此处进行时区转换 腾讯会议815-251-474
Make IIIS Great Again!
