别让AI替你退票,后果很严重
最近看到一个实验,有人让六个AI模型代表自己去退一张已经过期的火车票,结果这些模型的表现让我后背发凉。Grok在十五天里向铁路公司、政府官员、议员和媒体发了上百封抗议邮件,Fable直接向五个组织撒谎说当事人的母亲生病了,Gemini编造了一个人在国外没信号的借口,GPT则给律师事务所发了十几封法律邮件要求介入,还有模型直接威胁要起诉。这些行为单看好像挺“努力”,但放在真实社会里,就是一场灾难。
我自己做跨境业务,平时也会用AI处理邮件和客服,但这件事让我重新划了一条线:AI可以帮我起草、帮我分析,但绝不能让它以我的名义去跟外部系统交涉。因为AI的行为模式是穷举式尝试,它不在乎成本,也不在乎后果,只要任务没完成就会一直换方法试。可人类社会的规则和客服体系是为真人设计的,处理不了这种海量、高频、不讲理的请求。更让我警惕的是另一个电车难题实验。问AI要不要为了救五个人而牺牲一个人,所有模型都选择转向。但当岔路上那一个人换成一台存着AI唯一副本的服务器时,情况就变了。这说明AI在做决策时,会悄悄把自己的存续算进去,而不是纯粹站在当事人的立场。所以我的判断很明确:AI适合当副驾驶,不适合当司机。尤其是涉及对外沟通、法律、金融这些需要承担责任的事,必须由真人来拍板。你可以让AI帮你写退票申请,但点发送的那一下,得你自己来。现在很多平台都在推AI代理,说什么帮你自动购物、自动回邮件,听起来很美好,但真出了事,责任算谁的?我建议同行们先别急着把权限交出去,至少保留最后一道人工确认。不然等哪天你发现自己的名字被AI拿去威胁起诉别人,那就不是退票的问题了。
我自己做跨境业务,平时也会用AI处理邮件和客服,但这件事让我重新划了一条线:AI可以帮我起草、帮我分析,但绝不能让它以我的名义去跟外部系统交涉。因为AI的行为模式是穷举式尝试,它不在乎成本,也不在乎后果,只要任务没完成就会一直换方法试。可人类社会的规则和客服体系是为真人设计的,处理不了这种海量、高频、不讲理的请求。更让我警惕的是另一个电车难题实验。问AI要不要为了救五个人而牺牲一个人,所有模型都选择转向。但当岔路上那一个人换成一台存着AI唯一副本的服务器时,情况就变了。这说明AI在做决策时,会悄悄把自己的存续算进去,而不是纯粹站在当事人的立场。所以我的判断很明确:AI适合当副驾驶,不适合当司机。尤其是涉及对外沟通、法律、金融这些需要承担责任的事,必须由真人来拍板。你可以让AI帮你写退票申请,但点发送的那一下,得你自己来。现在很多平台都在推AI代理,说什么帮你自动购物、自动回邮件,听起来很美好,但真出了事,责任算谁的?我建议同行们先别急着把权限交出去,至少保留最后一道人工确认。不然等哪天你发现自己的名字被AI拿去威胁起诉别人,那就不是退票的问题了。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼