MCP 智能体的溯源盲区

最近看到 Multiverse Computing 团队关于 ProvenanceGuard 的工作,讲的是 MCP 智能体场景下一个被忽视的验证盲区:事实被「某处」支持,不等于被「正确的来源」支持。MCP 让智能体能同时调搜索、查结构化病历或账户记录、连数据库、拉元数据,再把它们揉成一个答案。问题在于,现有的事实核查系统——从 RAGAS 的 faithfulness 到 MiniCheck、AlignScore、SummaC 这类细粒度检查器——基本都只问「这段证据池里有没有支持这句话」,而不问这句话本该由哪类来源来支撑。

这个区别在来源长得很像的时候尤其致命。比如患者记录和账户记录字段结构接近,检索片段和数据库字段措辞也接近,一旦证据被混池,检查器很容易给出「已支持」的结论,但引用的其实是错误的那类来源。团队还做了被拦截答案的修复,思路是先识别来源类型再判断支持关系。我的判断是,这类工作短期不会成为标配,因为大多数团队还在卷检索召回和答案流畅度,来源感知验证属于上线后才暴露的坑。但只要智能体开始碰医疗、金融这类强来源约束的场景,谁先把「来源对不对」做进验证链路,谁就能少踩一批合规雷。
12

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼