WhatIf-Bench基准发布
热点事件持续更新
WhatIf-Bench基准发布
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
WhatIf-Bench作者团队发布了面向干预感知时间序列预测的基准;评测显示,LLM的skill高于最佳时间序列基础模型(TSFM),模型在Replay未来上的skill为48%至85%,在Novel未来上降至-7%至50%,同时干预更多协变量时表现进一步下降。 该基准包含37,665个任务,覆盖数据中心、电网、道路交通和水网络场景。任务基于机制模拟器生成半合成时间序列,要求模型根据协变量干预历史预测目标对未来事件的响应;未来事件分为重复已见取值的Replay和设置未见取值的Novel。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
WhatIf-Bench:干预感知时间序列预测基准测试报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv · Machine LearningWhatIf-Bench:干预感知时间序列预测基准测试
WhatIf-Bench 面向时间序列基础模型(TSFMs)评估其利用协变量预测目标对未来事件响应的能力,覆盖数据中心、电网、道路交通和水网络等场景,共含 37,665 个任务。评测显示,LLM 的 skill 高于最佳 TSFM;模型在 Replay 未来上的 skill 为 48% 至 85%,但在 Novel 未来上降至 -7% 至 50%,且同时干预更多协变量时表现进一步下降。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。