先了解这件事
AI 综述
2026年10月9日,Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。他引用 William Liu 的实验称,GPT-5.5、5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均报告 44,794 个 token 且完全一致。不过,OpenAI 尚未确认 GPT-6 与 GPT-5 系列使用同一 tokenizer。目前该事件仅有这一条事实证据,暂无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Simon Willison
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月9日
Simon Willison
Simon Willison 发布 ttok 1.0，默认 tokenizer 切换为 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0，将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。他引用 William Liu 的实验称，GPT-5.5、5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 共 7 个模型在 31 个测试样本上均报告 44,794 个 token 且完全一致，但 OpenAI 尚未确认 GPT-6 与 GPT-5 系列使用同一 tokenizer。