Seminar #70

时间: 2025-03-05 10:30-12:00 地点: 清华学堂112 + 腾讯会议 seminar

本周三10:30-12:00,我们将在学堂 112【线下】给大家带来董宏华学长和他在美国实习认识的朋友Noah Shinn的报告。两位的报告均与大语言模型智能体相关。在两位同学报告之间,同学们可以吃零食 and/or 自由交流。

  • 报告 1 摘要

    董宏华是姚班 2014 级(计科 40)学长。本次seminar他将分享大语言模型智能体安全性研究。让语言模型智能体使用工具虽然能带来更丰富的功能,但也会带来更多的风险如数据泄露和经济损失等。识别这些风险需要大量人工工作,且随着智能体复杂度提升,发现高风险案例将更加困难。为此,我们提出了ToolEmu框架,用语言模型模拟工具执行,无需手动实例化即可测试智能体。我们还开发了基于语言模型的自动安全评估器。经测试,ToolEmu识别的失败案例中70.8%在现实环境中确实会失败。使用包含36个高风险工具和144个测试用例的基准,我们发现即使最安全的语言模型智能体仍有23.9%的失败率,这表明需要在部署前开发更安全的智能体。

  • 报告 2 摘要

    Noah Shinn是美国创业公司Sierra的全职研究员。他将分享在开发与评估大语言模型智能体方面的工作。目前语言模型智能体面临两大挑战:智能体的一次性执行成功率,以及在真实场景中的可靠性评估。为解决这些问题,我们提出了Reflexion方法,让语言模型能够通过反思来改进决策。该方法在HumanEval编程测试中达到91%的pass@1准确率,超越GPT-4的80%。我们还开发了τ-bench基准测试,用于评估智能体在动态对话中的表现。实验显示,即使是Sonnet 3.7这样的高级智能体,其任务成功率也低于58%。

欢迎全体同学参加~

联系我们

Make IIIS Great Again!

清华大学姚班研讨会