跳到正文
Simon Willison · Engineering Notes·· 7 小时前AI 评分48

ttok 1.0 发布,默认分词器切换至 GPT-5/GPT-6

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。实验显示,GPT 5.5、5.6 Sol/Terra/Luna 和 6 Astra/Sol/Luna 共七个模型在 31 个 fixtures 上均报告 44,794 个 tokens,GPT-6 在该语料上未改变输入计数;OpenAI 尚未确认两代模型使用相同分词器。

来源:Simon Willison · Engineering Notes · simonwillison.net