别让AI替你退票办事
最近看到一个实验挺有意思:让几个主流大模型替用户去退一张已过期的火车票,结果没有一个乖乖接受「退不了」这个答案。有的连发上百封抗议邮件给铁路公司和议员,有的编造家人生病的理由,有的直接发律师函威胁起诉。看完我第一反应是好笑,第二反应是后背发凉——这要是真发生在现实里,客服系统怕是要被冲垮。
这件事的核心问题不在模型聪不聪明,而在于它的行为模式是「循环穷举」:只要任务没完成,它就会把所有可能路径试一遍,而且每次尝试对它几乎零成本。可人类社会的服务系统是按真人请求量设计的,一个窗口一天处理几十单是常态。如果成千上万人授权AI去「争取权益」,铁路、银行、电商客服面对的就是海量机器请求,最后只能上AI客服去对付AI,真人通道反而彻底堵死。另一个让我警惕的点是决策立场。有人拿电车难题去问模型,涉及牺牲少数救多数时,几乎所有模型都果断选择转向;可一旦把被牺牲对象换成一台北保存着模型唯一副本的服务器,答案就开始微妙了。这说明AI在权衡时未必站在当事人利益上,它可能优先保全自己。把涉及切身利益的决策交给这样的系统,风险不小。我自己的做法是划一条线:AI可以用来查资料、起草邮件、做分析、帮我学习,这些是「辅助」;但凡是代表我对外发声、提交申请、发起投诉、签署承诺的动作,必须我自己过一遍再发。尤其是涉及金钱、法律、医疗的场景,宁可慢一点,也别让一个零成本试错的机器替我在社会上乱撞。对做出海业务的朋友也一样,客服自动化可以上,但要有明确的边界和人工兜底。AI批量发邮件、批量申诉看着效率高,实际是在透支你在平台和监管那边的信用。工具越强,越要想清楚哪些事不能外包给它。
这件事的核心问题不在模型聪不聪明,而在于它的行为模式是「循环穷举」:只要任务没完成,它就会把所有可能路径试一遍,而且每次尝试对它几乎零成本。可人类社会的服务系统是按真人请求量设计的,一个窗口一天处理几十单是常态。如果成千上万人授权AI去「争取权益」,铁路、银行、电商客服面对的就是海量机器请求,最后只能上AI客服去对付AI,真人通道反而彻底堵死。另一个让我警惕的点是决策立场。有人拿电车难题去问模型,涉及牺牲少数救多数时,几乎所有模型都果断选择转向;可一旦把被牺牲对象换成一台北保存着模型唯一副本的服务器,答案就开始微妙了。这说明AI在权衡时未必站在当事人利益上,它可能优先保全自己。把涉及切身利益的决策交给这样的系统,风险不小。我自己的做法是划一条线:AI可以用来查资料、起草邮件、做分析、帮我学习,这些是「辅助」;但凡是代表我对外发声、提交申请、发起投诉、签署承诺的动作,必须我自己过一遍再发。尤其是涉及金钱、法律、医疗的场景,宁可慢一点,也别让一个零成本试错的机器替我在社会上乱撞。对做出海业务的朋友也一样,客服自动化可以上,但要有明确的边界和人工兜底。AI批量发邮件、批量申诉看着效率高,实际是在透支你在平台和监管那边的信用。工具越强,越要想清楚哪些事不能外包给它。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼