本周三10:30-12:00，我们将在学堂 112【线下】给大家带来董宏华学长和他在美国实习认识的朋友Noah Shinn的报告。两位的报告均与大语言模型智能体相关。在两位同学报告之间，同学们可以吃零食 and/or 自由交流。
报告 1 摘要
董宏华是姚班 2014 级（计科 40）学长。本次seminar他将分享大语言模型智能体安全性研究。让语言模型智能体使用工具虽然能带来更丰富的功能，但也会带来更多的风险如数据泄露和经济损失等。识别这些风险需要大量人工工作，且随着智能体复杂度提升，发现高风险案例将更加困难。为此，我们提出了ToolEmu框架，用语言模型模拟工具执行，无需手动实例化即可测试智能体。我们还开发了基于语言模型的自动安全评估器。经测试，ToolEmu识别的失败案例中70.8%在现实环境中确实会失败。使用包含36个高风险工具和144个测试用例的基准，我们发现即使最安全的语言模型智能体仍有23.9%的失败率，这表明需要在部署前开发更安全的智能体。
报告 2 摘要
Noah Shinn是美国创业公司Sierra的全职研究员。他将分享在开发与评估大语言模型智能体方面的工作。目前语言模型智能体面临两大挑战：智能体的一次性执行成功率，以及在真实场景中的可靠性评估。为解决这些问题，我们提出了Reflexion方法，让语言模型能够通过反思来改进决策。该方法在HumanEval编程测试中达到91%的pass@1准确率，超越GPT-4的80%。我们还开发了τ-bench基准测试，用于评估智能体在动态对话中的表现。实验显示，即使是Sonnet 3.7这样的高级智能体，其任务成功率也低于58%。
欢迎全体同学参加~
Make IIIS Great Again!
