跳到正文
AI Hot · 全部动态 RSS· noreply@aihot.news (Baseten 工程博客)·· 4 小时前AI 评分75

Baseten 解析高质量 NVFP4 量化方法

Baseten 解析高质量 NVFP4 量化:启发式规则、逐层敏感度评分与 SaturationQuant

AI 导读

Baseten 工程博客解析高质量 NVFP4 4-bit 量化,涵盖启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 将张量划分为每块 16 个值,并通过权重计算和激活校准确定 scale。

来源:AI Hot · 全部动态 RSS · aihot.news