Kolab：评测长周期工作流中的人类与智能体协作

Kolab提出用于评测长周期人类与智能体协作的新数据集，包含来自40个职业、50名专业人士的115+小时屏幕录制，以及协作和输出质量判断。该基准评测智能体预测专业人士如何采用、修改或拒绝其贡献，并验证其对协作满意度和输出质量的判断。研究发现，前沿模型会高估与专家的协作效果，且难以区分高质量与低质量协作，增加工作流上下文也未持续改善预测。