AI 时代磁带复活,冷数据归档新机会
看到富士胶片要投 100 亿日元扩产数据磁带,第一反应是有点魔幻。被消费市场遗忘这么多年的东西,居然因为生成式 AI 对冷数据归档的需求重新站到台前。按他们的说法,这是近二十年对 LTO 磁带专用设施最大的一笔投入,目标是把产能拉到 2025 财年的五倍,主攻 LTO Ultrium 10。
这件事背后的逻辑其实不复杂。大模型训练烧的是 GPU、HBM 和高速 SSD,但训练完留下的原始语料、清洗后的数据集、日志、检查点和历史版本,才是真正越堆越多的部分。这些数据几个月甚至几年不碰,却不能随便删,未来复现实验、重新训练或合规审计都可能要调出来。全放在在线硬盘阵列里一直通电维护,成本想想都肉疼。磁带恰好卡在这个生态位。它便宜、省电,能离线保存,闲置时不用持续供电和散热。富士胶片自己测算过,保存 100PB 数据、周期十年,自动化磁带系统比全机械硬盘方案总体拥有成本低约 86%,碳排放低约 95%。安全上也有优势,磁带能物理取出,遇到勒索软件攻击时,离线那份备份就是最后一道保险。速度也没那么不堪。LTO-10 原始连续传输速率最高能到 1200MB/s,配上自动化磁带库的机械手,归档场景完全够用。当然缺点也明显,随机访问差、读取延迟高,只适合冷数据,不适合热数据。所以我不觉得这是磁带的全面复兴,更像是 AI 数据分层存储把冷归档这条线重新激活了。对跨境和出海团队来说,这其实是个提醒。大家忙着堆算力、抢 GPU 的时候,数据治理和长期归档的成本会慢慢浮上来。如果业务里涉及大量训练数据、日志或合规留存,提前把冷热分层和归档介质想清楚,可能比事后补课省得多。磁带不一定适合每个团队,但「用对的介质存对的数据」这个思路,值得早点放进架构里。
这件事背后的逻辑其实不复杂。大模型训练烧的是 GPU、HBM 和高速 SSD,但训练完留下的原始语料、清洗后的数据集、日志、检查点和历史版本,才是真正越堆越多的部分。这些数据几个月甚至几年不碰,却不能随便删,未来复现实验、重新训练或合规审计都可能要调出来。全放在在线硬盘阵列里一直通电维护,成本想想都肉疼。磁带恰好卡在这个生态位。它便宜、省电,能离线保存,闲置时不用持续供电和散热。富士胶片自己测算过,保存 100PB 数据、周期十年,自动化磁带系统比全机械硬盘方案总体拥有成本低约 86%,碳排放低约 95%。安全上也有优势,磁带能物理取出,遇到勒索软件攻击时,离线那份备份就是最后一道保险。速度也没那么不堪。LTO-10 原始连续传输速率最高能到 1200MB/s,配上自动化磁带库的机械手,归档场景完全够用。当然缺点也明显,随机访问差、读取延迟高,只适合冷数据,不适合热数据。所以我不觉得这是磁带的全面复兴,更像是 AI 数据分层存储把冷归档这条线重新激活了。对跨境和出海团队来说,这其实是个提醒。大家忙着堆算力、抢 GPU 的时候,数据治理和长期归档的成本会慢慢浮上来。如果业务里涉及大量训练数据、日志或合规留存,提前把冷热分层和归档介质想清楚,可能比事后补课省得多。磁带不一定适合每个团队,但「用对的介质存对的数据」这个思路,值得早点放进架构里。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼