英伟达GPU隐藏算力被开源解锁!不改官方驱动,RTX 4090吞吐翻倍
以下内容由杏彩体育整理:
一张 RTX 4090,什么硬件都没换, 特定 Tensor Core 运算吞吐率竟然从 165.
6 TFLOPS 飙升至 331.
6 TFLOPS,直接翻倍 更让人意外的是,这次被挖出潜力的远不止 RTX 4090。
RTX 3090 Ti、RTX 4070 Ti SUPER,甚至 2018 年发布的 RTX 2080 Ti,都在社区测试中取得了显著的性能提升。
这一切源于 GitHub 上一批开发者对英伟达 GPU 底层计算限制的探索。
他们发现,部分 GeForce 显卡的 Tensor Core 在执行特定混合精度运算时,存在指令发射速率限制。
通过修改 GPU 启动阶段的相关配置,可以让原本受限的运算路径恢复更高吞吐率。
不需要更换 GPU,也不用刷写显卡 BIOS 。
在已验证的 Linux 方案中,原版 NVIDIA 驱动甚至可以照常运行。
目前,针对 RTX 20、30、40 三代显卡的相关项目均已出现在 GitHub 上,部分开发者还在 Windows 11 环境中完成了实验。
一场围绕英伟达显卡「隐藏算力」的挖掘,正在开源社区展开。
RTX 4090 算力翻倍 最引人注目的成绩来自 RTX 4090。
开发者 JustAResearcher 在开源项目 gpu-unlock-ada 中,展示了 RTX 4090 解锁前后的测试结果。
仅仅 2 天时间,该项目已经积累了 2.
7k 的 Star 量。
项目地址:https://github.
com/JustAResearcher/gpu-unlock-ada 具体来讲,在 FP16 输入、FP32 累加的 Tensor Core 运算中,吞吐率从 165.
6 TFLOPS 飙升至 331.
6 TFLOPS,几乎翻倍。
BF16 输入、FP32 累加的测试也出现了相同的变化,从 165.
5 TFLOPS 提升至 330.
6 TFLOPS。
这意味着,在特定混合精度运算下,同一张 RTX 4090 可以达到此前约两倍的指令吞吐率。
为了排除偶然因素,开发者还将测试 循环次数从 2 万次增加到 4 万次 ,得到的 FP16/FP32 和 BF16/FP32 吞吐率分别为 330.
8 TFLOPS 和 330.
3 TFLOPS,与之前的结果基本一致。
更值得关注的是,整个实验没有更换显卡硬件,也没有通过提高功耗上限、手动超频或者修改 NVIDIA 官方驱动来获得性能提升。
根据技术报告,测试显卡采用 AD102 芯片,拥有 128 个 SM(流式多处理器),运行 Linux 7.
2.
4 内核,功耗上限保持在 450W。
开发者利用 GPU 启动阶段的固件执行流程,打开受保护寄存器的写入权限,随后修改控制计算速率的寄存器配置。
完成配置后,显卡经历了一次 PCIe 功能级重置(FLR),随后由未经修改的 NVIDIA 615.
78.
08 驱动正常接管。
驱动初始化和 CUDA 测试后的寄存器检查表明,解锁配置依然生效。
开发者成功解除 RTX 4090 在部分 Tensor Core 运算模式下的速率限制,使原有计算单元在执行 FP16/BF16 输入、FP32 累加指令时达到更高的吞吐率。
不过, 性能变化并没有覆盖所有运算类型 。
例如,FP16 输入、FP16 累加的吞吐率在解锁前就已经达到 325.
7 TFLOPS,解锁后经过较长循环测试达到 331.
6 TFLOPS,并未出现类似的翻倍。
INT8 运算吞吐率基本维持在 661 TOPS 左右,普通 FP32 标量运算也保持在约 79.
1 TFLOPS。
这说明,此次解锁主要影响此前受到速率限制的特定 Tensor Core 运算路径,并没有让 RTX 4090 的所有计算能力同时翻倍。
同时,另一位 RTX 4090 持有者使用经过审查的项目代码完成了独立复测。
这次实验采用 Linux 7.
2.
11-arch1-1 内核和 NVIDIA 615.
78.
08 驱动,解锁前后使用同一张显卡、相同的测试程序和 450W 功耗上限,进一步验证了结果。
测试显示,FP16 输入、FP32 累加的指令吞吐率从 160.
4 TFLOPS 提升至 320.
4 TFLOPS,BF16 输入、FP32 累加则从 159.
7 TFLOPS 提升至 320.
2 TFLOPS,两项结果均接近翻倍。
复测地址:https://github.
com/JustAResearcher/gpu-unlock-ada/blob/main/docs/evidence/rtx4090-pr1-matched/README.
md 但当测试从底层指令吞吐率转向实际矩阵乘法时,性能增幅就没有那么夸张了 。
在使用 cuBLAS 进行的矩阵乘法测试中,FP16 运算的吞吐率根据矩阵规模不同
杏彩体育将持续关注后续动态。