ChatGPT 存储提速 12 倍的工程思路

今天看到一篇讲 ChatGPT 在线存储扩展的技术分享，核心是团队用 Habitat 做多租户隔离、加全局缓存、再配合 Azure Cosmos DB，把读取速度提升了 12 倍。这个数字放在消费级产品上很扎眼，但更值得琢磨的是他们为什么选这条路。

多租户听起来像老生常谈，但在大模型场景里，租户不只是「客户」，还包括不同模型版本、不同会话、不同区域的请求。Habitat 把租户边界做进存储层，等于把「谁的数据放哪、谁能读」变成基础设施问题，而不是业务代码里到处 if-else。这个思路对做跨境 SaaS 的团队很有参考价值，尤其当你要同时服务欧美和东南亚客户时，数据驻留和隔离要求会越来越细。全局缓存是另一个关键点。ChatGPT 的读多写少特征非常明显：用户反复打开同一段对话、同一个附件，缓存命中率直接决定体验。他们没走「每个区域各建一套缓存」的老路，而是做全局缓存，说明在一致性上做了取舍。我的判断是，这种架构更适合「读扩散」型业务，比如内容社区、知识库问答；如果是强事务场景，比如支付或库存，照搬会踩坑。Cosmos DB 的角色容易被忽略。它提供的是全球分布下的低延迟读写，但成本不低。团队敢把它放在关键路径上，大概率是算过账：12 倍读提速带来的留存和口碑，能覆盖多区域复制的开销。对中小出海团队来说，更现实的路径可能是先用托管缓存加单区域主库，等流量起来再考虑全球分布。整体看，这篇分享的价值不在「12 倍」这个营销数字，而在它展示了一种分层思路：租户隔离管正确性，全局缓存管速度，全球数据库管可用性。三件事拆开做，比堆一个万能存储中间件更可控。如果你也在做 AI 应用的存储选型，建议先把读路径的缓存命中率摸清楚，再决定要不要上全球分布。