微软新工具给AI代理打分

今天刷到微软发的一个新东西叫ThinkingBox，挺有意思。它不看你家AI代理嘴上说了什么，而是直接去检查它实际在数据库、后台系统里留下了什么痕迹，然后看它能不能连续二十次都做对。说白了，就是不再被「工具调用成功」这种表面动作骗过去，而是看最终的业务结果到底对不对。

这个思路我觉得很实在。现在很多团队做Agent，演示的时候跑通一次就敢上线，但真实场景里用户可不会只试一次。一个客服代理帮客户处理退款，第一次成功了，第二次可能就把订单状态改错。ThinkingBox把「一致性」这个维度单独拎出来打分，等于逼着大家去面对那个尴尬的问题：你依赖的模型到底稳不稳？文章里提到一个概念叫Pareto成本前沿，讲的是价格和一致性之间的取舍。这个点挺戳中我的。企业采购AI服务的时候，往往只看单次调用价格，但忽略了失败之后的人工兜底成本。一个便宜但经常出错的代理，实际总成本可能比贵一点但稳定的方案高得多。ThinkingBox想做的，就是让这种隐性成本变得可量化、可比较。他们还提到了失败签名，也就是不同类型的错误模式。这个对工程团队很有用，因为知道「它怎么错的」比知道「它错了」更有价值。比如是工具参数传错了，还是状态没同步，还是多步推理里丢了上下文，不同的失败签名对应不同的修复策略。我觉得这比单纯给一个准确率数字要有指导意义得多。整体看下来，微软这次没有在卷模型能力，而是在卷评测方法。当大家都在比谁的Agent更聪明的时候，有人开始比谁的Agent更可靠，这个方向我觉得是对的。毕竟企业买单的不是惊艳的demo，而是能稳定跑在生产线上的系统。