换壳不换芯 编码代理框架差异被高估

最近看到山东大学两位研究者的论文，标题很直白：框架到底买到了什么？答案主要是 token。他们把模型固定，只换 Claude Code、OpenCode 这类编码代理框架，发现成绩波动跟同一套配置跑两遍差不多，但成本能翻三倍。这个结论对天天追排行榜的团队来说，值得停下来想一想。

过去很多对比报告说不同框架之间能差 20 分以上，但作者指出这些数字几乎都来自单次运行。光是同一套设置重跑，SWE-bench Verified 上就能有最多 6 分的浮动。智谱宣传自家框架比 Claude Code 领先 2.4 分，这个差距其实完全落在噪声范围里，拿来做选型依据并不牢靠。我的判断是，框架的工程价值不在刷分，而在稳定性和可控性。系统提示、工具设计、上下文管理这些确实影响日常体验，但它们更多决定的是少踩坑、少烧 token，而不是 benchmark 上多几个点。把框架当成提分神器，容易在采购和迁移上花冤枉钱。对出海团队来说，这意味着评估代理工具时应该先固定模型，再跑多轮看方差，同时把 token 成本和任务完成率放在一起算账。排行榜可以看，但别把它当成唯一信号，尤其是那些只公布单次最好成绩的榜单。当然，论文也提到框架之间常常存在耦合，换框架往往连带换了工具链和提示词，这也是差异被放大的原因之一。真正该问的不是哪个框架分数高，而是哪套组合在自己的业务场景里重复跑也稳。