ttok 1.0 发布并切换默认分词器
热点事件持续更新
ttok 1.0 发布并切换默认分词器
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Simon Willison 发布 ttok 1.0，将默认分词器从 GPT-4 切换为 GPT-5/GPT-6；测试显示，GPT-5.5、GPT-5.6 的 Sol/Terra/Luna 以及 GPT-6 的 Astra/Sol/Luna 共七个模型，在 31 个测试样本上的计数均为 44,794 tokens，彼此一致。 不过，OpenAI 尚未确认 GPT-6 与 GPT-5 系列使用相同的分词器，因此目前只能确认这些模型在该测试语料上的输入计数一致，不能据此证明两代模型采用了同一分词器。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 08:34
ttok 1.0 发布，默认分词器切换至 GPT-5/GPT-6报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Simon Willison · Engineering Notesttok 1.0 发布，默认分词器切换至 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0，将默认分词器从 GPT-4 切换为 GPT-5/GPT-6。实验显示，GPT 5.5、5.6 Sol/Terra/Luna 和 6 Astra/Sol/Luna 共七个模型在 31 个 fixtures 上均报告 44,794 个 tokens，GPT-6 在该语料上未改变输入计数；OpenAI 尚未确认两代模型使用相同分词器。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。