跳到正文
热点事件持续更新

WhatIf-Bench基准发布

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

WhatIf-Bench作者团队发布了面向干预感知时间序列预测的基准;评测显示,LLM的skill高于最佳时间序列基础模型(TSFM),模型在Replay未来上的skill为48%至85%,在Novel未来上降至-7%至50%,同时干预更多协变量时表现进一步下降。 该基准包含37,665个任务,覆盖数据中心、电网、道路交通和水网络场景。任务基于机制模拟器生成半合成时间序列,要求模型根据协变量干预历史预测目标对未来事件的响应;未来事件分为重复已见取值的Replay和设置未见取值的Novel。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · Machine Learning
    WhatIf-Bench:干预感知时间序列预测基准测试

    WhatIf-Bench 面向时间序列基础模型(TSFMs)评估其利用协变量预测目标对未来事件响应的能力,覆盖数据中心、电网、道路交通和水网络等场景,共含 37,665 个任务。评测显示,LLM 的 skill 高于最佳 TSFM;模型在 Replay 未来上的 skill 为 48% 至 85%,但在 Novel 未来上降至 -7% 至 50%,且同时干预更多协变量时表现进一步下降。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。