MX = Blocked Max Floating Point,是OCP(Open Compute Project)推出的块尺度浮点量化格式,GPT-OSS MoE使用的就是MXFP4。
- 底层原理:把权重切分成固定大小的块(比如每组32个元素),整个块共享同一个FP8的scale缩放因子,块内每个数值用4bit浮点数存储。
- 特点:属于浮点量化,不是GPTQ/AWQ那种整数量化;4bit用来存尾数+符号,共享块scale。
- 文中例子:GPT-OSS 117B总参数量,MXFP4量化后权重体积压缩到约60GB,刚好能塞进单张80GB H100显存。
优势:浮点格式对数值动态范围适应性更强,MoE不同专家权重分布波动大时,比普通4bit整数更稳;缺点是硬件需要原生MX指令,老卡支持差。