ARTICLE DETAIL

ut88.com - 同一款192GB显卡的十种权重格式性能差异揭秘

围绕热点动态、专业观察与内容价值展开更细致的整理,让信息不止停留在表面,而是更容易被理解与应用。

深度
效率
专业
可信

ut88.com - 同一款192GB显卡的十种权重格式性能差异揭秘

ut88.com(中国区)-官网 424 阅读 约 5.5 分钟

在同一天,在相同的环境下,使用同一款AMD Instinct MI300X显卡与vLLM镜像,我们对Gemma 4 E2B的十种权重格式进行了详尽的性能对比。最终的测试结果显示,最快的格式与最慢的格式之间竟然存在接近7.8倍的性能差异。为了确保真实性,所有的日志、报告及脚本均已完整提交。

在这次测试中,我们发现fp8是唯一一个在速度上可以与bf16格式相抗衡的选手。在单请求情况下,fp8的速度约为bf16的0.75倍,而当请求并发数量达到8个或64个时,fp8的表现甚至突破了1.09倍。而int8 W8A8的表现则徘徊在0.29倍到0.87倍之间,4-bit的W4A16构建性能则在0.14倍到0.63倍之间。这些差异突显了格式之间的代价——速度与精度之间的选择,尤其是表现最佳的格式往往在数值上最远离了Google训练时的精度。

about image

考虑到此款显卡的192GB内存,实际内存并不是一个影响因素。以bf16格式运行时,其所需的内存仅为9.42 GiB,而一块MI300X显卡的内存容量高达192 GB,因此显卡的内存不应限制我们的选择。在bf16格式下,留给KV缓存的空间足足可以容纳9,045,060个token,而最小构建数量也仅将这一数字提升至9,475,223。真正需要考虑的,还是速度与精度之间的取舍。这张显卡对某些数据格式能够实现原生乘法,但对于其他格式则需要通过模拟执行的方式来完成处理。 ut88.com

在这十个不同的构建中,每一种量化版本都是基于Google的gemma-4-E2B-it-qat-q4_0-unquantized版本进行构建的,所有权重均落在4-bit的网格格式上,且每32个值共享一个scale。九个量化版本打包为纯文本格式,并均部署于Hugging Face平台,涵盖了fp8、fp8fnuz、fp8emb4、fp8fnuzemb4、w8a8、w8a8emb4,q4w4a16、q4w4a16ple4、q4w4a16emb4等众多选项。int4的词表部分则包括embed_tokens、并未绑定的lm_head以及逐层嵌入数据,这些数据均根据QAT训练时的32值一组网格进行打包。

在动手执行之前,准备工作也非常重要:需要一个包含MI300X实例的AMD Developer Cloud账号(gpu-mi300x1-192gb)、SSH密钥、Hugging Face token,以及使用amd-gputools的make scaffold所准备好的实例。后者会自动配置好Docker环境、GPU组并拉取vLLM镜像。

about image

接下来的第一步是构建格式。每个模型构建需要读取Google的QAT检查点,生成相应格式。FP8构建从重打包的4-bit模型中提取纯文本的config与张量列表,从而确保每个构建都量化处理同样的276个线性层。验证环节将重新读取两个检查点,对比每个量化值与其原始的QAT值:276个模块、1,876,819,968个值,最大相对误差为0.0333,其中264个值完全一致,相对RMS误差为0.0264。而build-on通过将已有int4词表构建的线性层替换为FP8来生产emb4变体,int8构建则是从w8a8_from_qat.py中获得,而4-bit重打包机来自repack_q4_0.py,该程序能恢复每组训练时的步长,采用int4存储数值,避免了重新舍入的误差。 ut88.com

第二步是与矩阵乘法计时相关。为了在任何模型运行之前,gemm_decode_shapes.py脚本会从E2B的每个token出发,依次计时每次矩阵乘法所需时间,分别测试单行请求、8行请求与64行请求,并通过HIP图形接口排除启动时的开销。结果显示,在单行请求中,bf16所需时间为1966.2微秒/token,而fp8仅需1304.2微秒,fp8的性能约为bf16的1.51倍。在64行请求中,bf16的时间为2383.6微秒,fp8则为1589.4微秒,仍保持在1.50倍。然而,int8在64行情况下表现得极其缓慢,仅为bf16的0.20倍,且在请求不到17行时,PyTorch对int8乘法的处理直接拒绝执行,报告了RuntimeError错误,提示自变量的size需大于16,但实际却小于1。而MI300X并不支持int4乘法,因此4-bit构建的权重必须在kernel里先解包成为bf16,再进行每次乘法运算。

最后一步是在同一固定镜像上服务各个构建。dtype_sweep.py依照各自的rig目录依次服务不同的构建,采用一致的镜像digest及服务配置:--max-model-len 32768、--gpu-memory-utilization 0.90,同时启用前缀缓存,并不添加--quantization标志,使得vLLM能自动读取各个检查点的格式。每次构建在启动时,都会核对vLLM选用的kernel及加载的内存空间。以w8a8为例,加载7.07 GiB内存,KV为9025606,使用的kernel为TritonInt8ScaledMMLinearKernel。而fp8则同样加载7.07 GiB的内存,KV值为9017531,采用的kernel为RowWiseTorchFP8ScaledMMLinearKernel。

这种深入的性能测试,无疑为深度学习模型的权重格式优化提供了重要的见解与基础,帮助未来在模型构建中做出更为合理的选择。 ut88.com

about image

觉得有用?分享给朋友

让更多人看到这篇内容

RECOMMENDED READS

推荐阅读