arXiv · Machine Learning· Fabien Furfaro·2026-10-12 12:00· 10 小时前AI 评分37

Kairos：面向所有模态的字节级基础模型探索

Kairos: Toward a Byte-Level Foundation Model for Every Modality

AI 导读

Kairos 将多种注意力机制、块级 Attention-Residual 聚合、稀疏 Mixture-of-Experts（MoE）层和多尺度字节级编解码器组合起来，在共享字节空间中训练，探索这套架构能否收敛。