BULLPEN提出多通道大模型画像框架

Russell Ro、Qiming Cui 和 Reza Abbasi-Asl 提出 BULLPEN 框架，通过联合编码大语言模型的回答文本、回答正确性和问题文本，用少量探测问题预测模型的多维属性。该框架扩展了此前的 EmbedLLM，新增20项行为、风格和来源基准。 在260个开放权重模型的测试中，BULLPEN 的回答文本编码器得分为0.48 ± 0.10，高于此前最佳编码器的0.35 ± 0.10。样本效率方面，仅使用400个问题（完整题库推理计算量的1.3%），回答文本编码器即可保留至少91%的完整题库建模能力；仅使用正确性信息的基线则保留83%。研究者认为，该方法只需模型输出，可用于行为审计和低成本画像，并有望扩展至仅通过 API 提供服务的模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。