英伟达显卡AI算力被解锁
最近圈子里在传一个事:部分 RTX 30 系显卡的 Tensor Core 在特定矩阵运算上存在速度限制,有人找到了绕过方法,解锁后 AI 矩阵计算性能能提升 60% 到接近翻倍。我第一反应是这会不会又是超频噱头,仔细看下来发现不是——它不增加计算单元,也不改频率,只是解除某些计算路径的吞吐限制,显卡本来就有这个能力。
受影响的主要是 Ampere 架构 GA102、GA104 核心的卡,比如 RTX 3090、3080、3070 这些。目前已经冒出两个开源项目,Linux 和 Windows 各一个,都是最近几天才出现的。实测数据挺扎眼:RTX 3090 Ti 的 BF16 提升约 80%、TF32 约 94%;RTX 3090 在 360W 功率上限下用 PyTorch 测,吞吐从 75 TFLOPS 涨到 135 TFLOPS;3080 Ti、3080 也都有六七成的提升,3070 也有成功解锁的报告。不过别急着高兴,落到本地大模型推理上,效果就没那么夸张了。有人用 RTX 3090 跑 Strata,16K 提示词处理速度只提升约 16%,首个 token 等待时间缩短约 14%,生成速度基本没变。另有人测 llama.cpp 的量化模型,解锁前后几乎没区别。这说明收益取决于模型和推理引擎是否真的走那条被限制的计算路径,不是所有场景都能吃到红利。平台方面,Linux 版已经比较成熟,多款显卡、不同主板甚至 Proxmox 虚拟机都有成功案例。Windows 版则要通过 UEFI 启动程序,在 NVIDIA 驱动加载之前完成解锁,目前只在有限硬件配置上验证过,不是下载双击就能用的程度。想尝鲜的 Windows 用户,建议先观望一阵。我的判断是,这事对跑本地推理、又正好持有 30 系卡的人来说值得关注,尤其是 Linux 环境下的玩家。
受影响的主要是 Ampere 架构 GA102、GA104 核心的卡,比如 RTX 3090、3080、3070 这些。目前已经冒出两个开源项目,Linux 和 Windows 各一个,都是最近几天才出现的。实测数据挺扎眼:RTX 3090 Ti 的 BF16 提升约 80%、TF32 约 94%;RTX 3090 在 360W 功率上限下用 PyTorch 测,吞吐从 75 TFLOPS 涨到 135 TFLOPS;3080 Ti、3080 也都有六七成的提升,3070 也有成功解锁的报告。不过别急着高兴,落到本地大模型推理上,效果就没那么夸张了。有人用 RTX 3090 跑 Strata,16K 提示词处理速度只提升约 16%,首个 token 等待时间缩短约 14%,生成速度基本没变。另有人测 llama.cpp 的量化模型,解锁前后几乎没区别。这说明收益取决于模型和推理引擎是否真的走那条被限制的计算路径,不是所有场景都能吃到红利。平台方面,Linux 版已经比较成熟,多款显卡、不同主板甚至 Proxmox 虚拟机都有成功案例。Windows 版则要通过 UEFI 启动程序,在 NVIDIA 驱动加载之前完成解锁,目前只在有限硬件配置上验证过,不是下载双击就能用的程度。想尝鲜的 Windows 用户,建议先观望一阵。我的判断是,这事对跑本地推理、又正好持有 30 系卡的人来说值得关注,尤其是 Linux 环境下的玩家。
评论
登录后即可发表评论
参与讨论,和出海同行交流想法与经验
还没有评论,来抢沙发吧
说说你的看法,第一条评论最显眼