arXiv · Machine Learning· Peicheng Wu, Zhenyu Bu, Runze Ma, Lin Du·· 10 小时前AI 评分62
REALM提出面向LFP行为解码的回顾式编码器对齐框架
REALM: Retrospective Encoder Alignment for LFP Modeling
AI 导读
REALM提出一种用于因果LFP行为解码的回顾式知识蒸馏框架，将预训练双向教师的表征知识迁移至因果学生模型。在无标签和微调两种流程中，REALM的平均准确率均高于对比解码器，并显著优于包括CrossModalDistill在内的各项基线。该框架在预训练、蒸馏和解码全程仅使用LFP，学生参数量不到CrossModalDistill已发表学生模型的一半，预训练耗时为其十分之一。
来源：arXiv · Machine Learning · arxiv.org