不更新权重也能让客服Agent登顶|出海闲聊
出海闲聊 · 帖子

不更新权重也能让客服Agent登顶

不更新权重也能让客服Agent登顶
最近看到IBM Research放出的ALTK-Evolve,思路挺有意思:不微调模型权重,而是让Agent自己学一本「操作手册」,在客服场景的τ²-bench上直接超过了零售类的参赛方案。换句话说,模型还是那个GPT-4.1,变的是它被喂进去的经验。

他们的做法是让一个基础ReAct Agent在任务中积累可复用的指导条目,再把这些学到的规则回灌到后续推理里。几个结论值得记一下:
- 指导条目能同时提升能力和可靠性,但最佳数量取决于具体领域,给多了反而可能添乱
- 性能提升主要来自消耗更多token,而不是更多交互轮次,说明瓶颈在「想得够不够细」而非「来回够不够多」
- 学到的规则对使用前沿模型的Agent同样有效,不是只对弱模型补课我比较认同这个方向。现在很多团队一提高Agent效果就想到微调,但客服这类策略约束强的场景,规则变化快、标注成本高,权重更新根本跟不上。把「记忆」做成可读可审的playbook,运营能直接改,出问题也能定位,工程上更现实。当然也要冷静看:token成本上去了,说明这套方法本质是拿推理预算换效果,长对话和高并发下账单会很难看。另外playbook的维护和冲突消解还没看到成熟方案,规则一多会不会互相打架,是落地前必须回答的问题。总体判断,这是「上下文工程」路线的一次有力证明,对做跨境客服、售后Agent的团队有直接参考价值。短期我会先在自己的场景里试一版轻量playbook,而不是急着上微调。
2

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼