Seminar #72

本周六下午14:00-15:00，我们将在学堂 112【线下】给大家带来唐添同学的报告。报告内容与ML system相关。在报告前后，同学们可以吃零食 and/or 自由交流。

• 报告摘要

  唐添是姚班2021级（计科14）的本科生，研究方向为机器学习系统。在本次Seminar中，他将分享在UW Baris Kasikci教授课题组春研期间关于混合专家模型（MoE Model）在本地部署的优化工作Fiddler。传统的针对Dense Model的offloading策略忽视了MoE Model的稀疏性特征，使得硬件资源未被充分利用。Fiddler提出了一种新的模型权重分配的策略，将非专家层和专家层分开处理，并提出了对应的推理优化算法，以减少推理延时。实验表明，Fiddler能够在多种任务下展现出超越SOTA框架的性能。该工作已发表于ICLR 2025，论文链接：https://arxiv.org/abs/2402.07033，项目主页：https://github.com/efeslab/fiddler

欢迎全体同学参加~

• 【重复一遍时间地点】北京时间本周六 3 月 29 日下午 14:00 - 15:00 清华学堂112 点击此处进行时区转换 腾讯会议 775-584-066