arXiv · Machine Learning· Russell Ro, Qiming Cui, Reza Abbasi-Asl·· 8 小时前AI 评分50
BULLPEN：通过多通道模型嵌入实现高样本效率的 LLM 性能画像
From the Zoo to the BULLPEN: Sample-Efficient LLM Profiling via Multi-Channel Model Embeddings
AI 导读
BULLPEN 提出一种扩展 EmbedLLM 的 LLM 画像框架，联合分析模型回答文本、正确性和问题文本，以少量探测问题预测模型的多维属性。该框架新增20个行为、风格和来源基准，在260个开放权重模型上取得0.48 ± 0.10的得分，高于此前最佳编码器的0.35 ± 0.10。仅用400个问题即可保留至少91%的完整题库建模能力，推理计算量仅为完整题库的1.3%。
来源：arXiv · Machine Learning · arxiv.org