arXiv · Machine Learning· Harsidak Singh Banwait, Chander Prabha·· 10 小时前AI 评分19
从 Transformer 到 GPT-5：大型语言模型设计的进展、局限与未来方向
Transformer to GPT-5: Advancements, Limitations, and Future Directions in Large Language Model Design
AI 导读
这项研究梳理大型语言模型从 BERT 到 GPT、Gemini、Claude 和 Grok 的发展，并分类讨论其设计与训练特征。研究涵盖训练数据、计算资源、硬件规格、架构和参数，也分析模型局限、计算挑战与开放问题。研究指出，平衡架构复杂度与数据质量的模型呈现出更稳定的推理和更好的对齐，且计算负载没有同比增加。
来源：arXiv · Machine Learning · arxiv.org