SPECTRA多模态贝叶斯适配框架提出

Habibeh Naderi、Behrouz Haji Soleimani和Stan Matwin提出SPECTRA，用跨模态交叉注意力和贝叶斯低秩适配器估计音频—文本学习中的预测不确定性；在IEMOCAP和临床访谈预测任务中，其表现与文本贝叶斯参数高效微调方法及常规多模态迁移学习基线相当或更优。 SPECTRA以文本token特征查询音频帧嵌入，调节LoRA适配器的潜变量后验，并通过蒙特卡洛采样分解预测不确定性。实验还显示，相比带噪但仍匹配的音频，错配音频对AUC、似然、校准和Brier score的损害更大。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。