AI写代码，四分之一任务才全对

最近看到一项来自阿里巴巴和几所亚洲高校的研究，他们做了一个叫 Co-Design Bench 的新基准，专门测编程智能体在真实用户需求下的表现。测试方式是让智能体改造已有的网页应用，输入还包含图片、录音、视频和文档，这比纯文本写代码更接近实际工作场景。

结果挺有意思：十个模型里表现最好的 GPT-6 Astra，平均能满足约七成需求，但完全正确的任务只有 26.4%。也就是说，大部分时候它把大头干了，却总留一两个细节没搞定，用的人几乎必须手动收尾。这个数据其实很符合我自己的体感，智能体生成的代码能跑，但离能交付还差一口气。研究者做这个基准的理由也很直接：老一代编程测试已经被刷到饱和了。模型能自己运行、检查、修复代码之后，那些测试的分数普遍超过 99%，模型之间的差距根本测不出来。这就像考试太简单，人人满分，反而看不出谁真会。我的判断是，这类基准比排行榜上的高分更有参考价值。对跨境团队来说，如果把编程智能体当成能独立干活的同事，很容易在验收环节翻车；更现实的定位是把它当高速实习生，产出快但必须有人 review。所以别被那些接近满分的旧测试忽悠了，真实需求里的长尾细节才是分水岭。接下来我会更关注智能体在「改存量项目」上的表现，而不是从零写 demo 的能力，毕竟实际工作里大多数任务都是在前人代码上动刀。