Strata 0.2.9 提速 88%,本地跑长文档更顺了|出海闲聊
出海闲聊 · 帖子

Strata 0.2.9 提速 88%,本地跑长文档更顺了

Strata 0.2.9 提速 88%,本地跑长文档更顺了
今天看到 Strata 更新到 0.2.9,第一反应是这版本终于把 Prefill 这块硬骨头啃下来了。官方说在 Windows 配 AMD Strix Halo 跑 Qwen3.8,提示词处理速度最高提升 88%,32K 长提示词从 41 秒压到 22 秒。作为经常把整份技术文档丢给本地模型的人,这个数字比单纯吹生成速度实在得多,毕竟读得慢才是日常最烦的等待。

Prefill 提速的意义,其实比很多人想的大。本地跑模型时,生成阶段往往还能靠量化硬撑,但长上下文一进去,光是把几万 token 读完就要等半分钟,交互感直接碎掉。这次 AMD 平台提升最猛,NVIDIA 和 Intel 显卡也有优化,说明团队没有只盯着一条硬件路线,对普通玩家算是个好消息。另一个值得留意的是新增 Unsloth 的 1-bit DeepSeek 模型支持。1 比特量化听起来激进,但在显存吃紧的机器上,它可能是让千亿参数模型跑起来的现实路径。结合前几个版本取消 12GB 以下默认加速、又陆续补上多显卡分工和自动压缩,能看出 Strata 在走一条很务实的路:不追求跑分好看,而是让低配机器真的能用。我的判断是,这类本地推理工具的竞争点正在从「能不能跑」转向「跑得顺不顺」。谁把 Prefill、显存调度和长对话压缩这几件事做扎实,谁就更容易留住用户。0.2.9 在 AMD 上的表现如果实测能复现,对用 Strix Halo 小主机的跨境同行来说,处理多语言长文档的效率会明显上一个台阶。当然,官方数据是交错测试得出的,实际体验还要看模型和量化组合。我打算这周拿手头的机器跑一遍 32K 提示词对比,重点看首字延迟和显存占用有没有副作用。有同样在本地折腾大模型的朋友,也可以交流下你们的实测结果。
26

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼