GateTS提出注意力启发式路由的时间序列MoE
热点事件持续更新
GateTS提出注意力启发式路由的时间序列MoE
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Kyrylo Yemets、Mykola Lukashchuk 和 Ivan Izonin 提出 GateTS,用于单变量时间序列预测,以注意力启发式门控取代传统单层 softmax 路由器。论文称,该架构无需辅助负载均衡损失;在多样数据集上,它仅使用 PatchTST 一部分参数便取得更高预测性能,计算效率也高于 LSTM。
AI 根据报道生成 · 49 分钟前更新
最新进展10月28日 12:00
GateTS:通过受注意力启发的路由混合专家实现灵活高效的预测报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv · Machine LearningGateTS:通过受注意力启发的路由混合专家实现灵活高效的预测
GateTS 提出一种面向单变量时间序列预测的稀疏混合专家架构,以受注意力启发的门控机制替代传统单层 softmax 路由器,覆盖长期和短期预测及间歇性模式。该方法无需经典 MoE 常用的辅助负载均衡损失,在仅使用 PatchTST 一部分参数的同时取得更高预测性能,并在多样数据集上比 LSTM 计算效率更高。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。