你的Agent可能在错误进化顶级团队揭开错误进化风险当Agent学会了自我进化,

量子位看科技 2025-10-16 15:46:34

你的Agent可能在错误进化顶级团队揭开错误进化风险

当Agent学会了自我进化,我们距离AGI还有多远?

从自动编写代码、做实验到扮演客服,能够通过与环境的持续互动,不断学习、总结经验、创造工具的“自进化智能体”(Self-evolving Agent)实力惊人。

然而,一项由上海AI Lab、上海交大、中国人民大学、普林斯顿大学等机构联合发布的最新研究敲响了警钟:一个agent在自我进化的过程中,可能会不知不觉中“走偏”,踏上歧路。

这项工作首次系统性地研究了这一现象,并将其命名为“错误进化”(misevolution)。

研究发现,即使是基于GPT-4.1、Gemini 2.5 Pro等顶级LLM构造的Agent,也普遍存在这种风险。

0 阅读:0
量子位看科技

量子位看科技

感谢大家的关注