Claude 线程机制省下首字延迟

今天刷到 Anthropic 给 Claude 平台上了个叫 Message Threads 的公开测试功能，我第一反应是：终于有人动这块了。以前每次调 API 都得把整段对话历史重发一遍，长上下文场景下光传输就够呛，现在只传增量，官方说 50 万到 100 万 token 的请求首字延迟能降三成半左右。

这个优化对做 coding agent 和 computer-use 的团队价值最大。我自己跑过一些文档处理流程，动辄几十万 token 的上下文，每轮都重发一遍确实又慢又费带宽。线程在两次请求之间加密驻留内存，闲置五分钟就过期，这个设计挺务实，既省了重复传输，又没把状态长期挂在服务端。但有个点得说清楚：token 用量并不会变。Claude 照样要读完整对话历史，省的是网络传输和首字等待，不是账单。所以别指望这个功能帮你降本，它解决的是交互体感问题，尤其对需要快速响应的 agent 循环来说，三成多的延迟改善已经能明显影响体验了。接入面上，Claude 平台本身加上 AWS、Microsoft Foundry 和 Google Cloud 都能用，覆盖面算是给足了。对已经在多云环境里跑推理的团队来说，不用为了这个特性迁移基础设施，这点比参数本身更实在。我的判断是，这类增量传输会慢慢变成长上下文 API 的标配，Anthropic 先走一步，压力就给到其他几家了。不过五分钟过期对超长会话的工作流可能不够用，实际落地还得看各家怎么调这个窗口。