AI Hot · 全部动态 RSS· noreply@aihot.news (Baseten 工程博客)·· 4 小时前AI 评分75
Baseten 解析高质量 NVFP4 量化方法
Baseten 解析高质量 NVFP4 量化:启发式规则、逐层敏感度评分与 SaturationQuant
AI 导读
Baseten 工程博客解析高质量 NVFP4 4-bit 量化,涵盖启发式规则、孤立层敏感度评分和 SaturationQuant 三种方案。NVFP4 将张量划分为每块 16 个值,并通过权重计算和激活校准确定 scale。
来源:AI Hot · 全部动态 RSS · aihot.news