跳到正文
Amazon Science· noreply@aihot.news (Amazon Science)·· 7 小时前精选

AWS 提出 priming 方法,可将预训练 Transformer 改造成混合状态空间架构

AI 导读

AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。

推荐理由

来源于 AI Hot 精选订阅

来源:Amazon Science · amazon.science