arXiv · Machine Learning· Nadav Benedek, Tomer Koren, Ohad Fried·2026-10-28 12:00· 13 小时前AI 评分53

Gefen：一种优化型随机优化器

Gefen: Optimized Stochastic Optimizer

AI 导读

Nadav Benedek、Tomer Koren 和 Ohad Fried提出 Gefen 优化器，在维持 AdamW 级性能的实验中将优化器内存占用最多降低 8 倍。