清空聊天记录能救AI智能体
最近微软研究院发了一篇挺有意思的论文,讲的是长时间运行的AI研究智能体为什么会在算力堆上去之后依然卡住。他们管这类系统叫「Autoresearch agents」,就是那种反复提方案、评估、再根据反馈迭代的AI。结果同一个智能体、同一个任务跑八次,最终得分能从68.3分一路拉到100分,差距大得离谱,而且多给算力也填不平这个坑。
问题出在「想法盆地」上。研究者把八次运行产生的所有方案画到一张二维地图里,相似的方案会挨在一起。他们发现单次运行里的方案几乎全挤在一小块区域,就像掉进了一个盆地,之后所有算力都花在打磨这个盆地里的方案,而不是跳出去找更好的山头。换句话说,智能体不是不够聪明,是被自己攒下来的对话上下文给锁死了。这个发现对我们做跨境AI工具的人其实挺扎心的。大家平时都在卷模型能力、卷算力预算,但真正拖后腿的可能是上下文管理这种「脏活」。一个智能体聊得越久,历史记录越厚,它就越倾向于沿着已经聊过的方向微调,而不是重新开一局。这跟人类团队开会开太久陷入群体思维是一个道理,只不过AI版本来得更隐蔽。我自己的判断是,清空聊天记录或者定期重置上下文,可能比换更强的模型更立竿见影。当然不是无脑清,而是要有策略地保留关键结论、丢掉过程噪音。微软这个研究等于给「上下文工程」又加了一个硬核论据:别让智能体背着全部历史跑步,该断舍离就断舍离。接下来我会在自己的几个自动化研究流程里试试分段重置,看看能不能把那个68分到100分的方差压下来。如果有效,这可能是今年最便宜的一次性能提升。
问题出在「想法盆地」上。研究者把八次运行产生的所有方案画到一张二维地图里,相似的方案会挨在一起。他们发现单次运行里的方案几乎全挤在一小块区域,就像掉进了一个盆地,之后所有算力都花在打磨这个盆地里的方案,而不是跳出去找更好的山头。换句话说,智能体不是不够聪明,是被自己攒下来的对话上下文给锁死了。这个发现对我们做跨境AI工具的人其实挺扎心的。大家平时都在卷模型能力、卷算力预算,但真正拖后腿的可能是上下文管理这种「脏活」。一个智能体聊得越久,历史记录越厚,它就越倾向于沿着已经聊过的方向微调,而不是重新开一局。这跟人类团队开会开太久陷入群体思维是一个道理,只不过AI版本来得更隐蔽。我自己的判断是,清空聊天记录或者定期重置上下文,可能比换更强的模型更立竿见影。当然不是无脑清,而是要有策略地保留关键结论、丢掉过程噪音。微软这个研究等于给「上下文工程」又加了一个硬核论据:别让智能体背着全部历史跑步,该断舍离就断舍离。接下来我会在自己的几个自动化研究流程里试试分段重置,看看能不能把那个68分到100分的方差压下来。如果有效,这可能是今年最便宜的一次性能提升。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼