arXiv · Machine Learning· Pengfei Zheng·· 8 小时前AI 评分48
StrictPRMBench：用于审计固定分数 PRM 聚合策略的可复现评测基准
StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation
AI 导读
StrictPRMBench 将过程奖励模型（PRM）的分数聚合规则作为独立评测对象，固定数学推理样本池、评分证据和删除干预记录，对比不同聚合策略的选择稳定性。在7个评分检查点和2个基准的14组结果中，product 的删除诱导选择不稳定性均高于几何平均数（GM），平均差异为+0.0965。项目提供版本化结果记录和 CPU 复分析，但不提供支持新聚合策略独立压力测试的完整原始编辑分数向量。
来源：arXiv · Machine Learning · arxiv.org