跳到正文
热点事件持续更新

SG-TULA面向非凸目标分布采样

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Iosif Lytras、Nikolaos Makras和Sotirios Sabanis提出SG-TULA,用于非光滑、梯度超线性增长的非凸目标分布采样;算法直接处理次梯度,并给出Wasserstein-2非渐近收敛界和优化风险估计。 论文称,他们以GPT-2系列大语言模型的正则化预训练势函数验证了算法假设,并给出明确常数;其增强型逐坐标变体在该预训练任务中的表现,被称可与微调后的AdamW和Muon竞争。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv · Machine Learning
    超越凸性:驯服次梯度非校正朗之万算法(SG-TULA)

    研究提出 Subgradient Tamed Unadjusted Langevin Algorithm(SG-TULA),用于非光滑、梯度超线性增长且非凸的目标分布采样,直接处理次梯度而无需高计算量的平滑处理。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。