RTX 30 解锁张量核心限制,AI 推理提速明显|出海闲聊
出海闲聊 · 帖子

RTX 30 解锁张量核心限制,AI 推理提速明显

RTX 30 解锁张量核心限制,AI 推理提速明显
最近在 GitHub 上看到一个挺有意思的项目 GPU Unlock,专门针对英伟达 RTX 30 系列安培显卡,解除了一项人为设置的指令发射速率限制。简单说,就是在使用 FP32 累加的 FP16/BF16 张量核心运算中,消费级卡原本跑得比专业卡慢,这个工具能把硬件本身具备的额外算力释放出来。

从社区反馈的基准测试看,提升幅度相当可观。一位 RTX 3080 Ti 用户在 315W 功耗限制下,BF16 吞吐量从 71.59 TFLOPS 提升到 113.98 TFLOPS,TF32 从 35.65 TFLOPS 提升到 65.28 TFLOPS;RTX 3080 10GB 在 320W 原厂功耗下,FP16/BF16 也从约 65 TFLOPS 提升到 110–113 TFLOPS。RTX 3090 Ti 在 450W 下的稠密矩阵乘法测试同样有接近翻倍的表现。更让我关注的是真实 AI 负载下的初步结果。有 RTX 3090 Ti 用户在 ComfyUI 里实测,MOSS-Image SFT BF16 吞吐量提升 58.6%,Qwen-Image 2.1 Turbo BF16 提升 57.2%,Z-Image Turbo BF16 提升 56.1%。不过 INT8 精度下几乎没变化,MOSS-Image SFT INT8 只提升了 0.3%,说明这个解锁主要利好 BF16/FP16 场景。技术实现上,它借助一个 Linux 内核模块,在英伟达驱动加载前修改硬件速度选择寄存器并执行功能级重置,之后原版驱动就能正常初始化显卡。这意味着每次更新驱动都不需要打补丁,也不用永久刷写 VBIOS,对普通用户来说门槛低了不少。目前项目标注支持 GA102、GA103、GA104、GA106,覆盖 RTX 30 系列大部分型号,但并非每张卡都保证兼容或一定有提升。
4

评论

登录后即可发表评论

参与讨论,和出海同行交流想法与经验

还没有评论,来抢沙发吧

说说你的看法,第一条评论最显眼