微软新工具给AI代理打分

最近看到微软研究院放出一个叫 ThinkingBox 的评测框架，专门用来给 AI 代理打分。它的思路挺有意思：不看代理生成的句子漂不漂亮，而是看它到底在系统里留下了什么痕迹——比如数据库记录有没有真的改对、工具调用有没有产生预期的副作用。换句话说，工具调用成功一次不算数，能连续二十次都稳定复现才算靠谱。

这个切入点我觉得很准。现在市面上大部分 agent 评测还是停留在「任务完成率」或者「回答质量」上，但企业真正关心的是：我能不能把这条自动化流程挂到生产环境里，让它每天跑几百次不出岔子。ThinkingBox 把「一致性」当成核心指标，还引入了帕累托成本前沿的概念，意思是你要在成功率和调用成本之间做权衡，而不是无脑堆模型能力。从技术实现看，它把代理放进隔离的 MCP 工具会话里跑，然后检查终端后端状态和副作用。这比单纯看日志靠谱得多，因为很多代理会「嘴上说完成了」，实际数据库里啥也没变。文章里还提到失败签名这个概念，就是给不同类型的失败打上特征标签，方便定位是模型幻觉、工具超时还是权限问题。对做跨境工具链的团队来说，这个方向值得关注。我们平时接的很多自动化需求，客户第一句话就是「能不能稳定跑」，而不是「能不能跑通」。如果 ThinkingBox 这类评测能标准化，以后选型或者验收 agent 产品时，就多了一个可量化的依据，不用再靠 demo 视频拍脑袋。当然，它现在还是偏研究性质的框架，真正落地到业务里还得看社区能不能把失败签名和成本模型沉淀成通用基准。但至少微软把「可靠性」这个模糊词拆成了可测量的东西，这比再发一个刷榜的模型有意义。