Simon Willison·· 17 天前AI 评分40
ttok 1.0 发布
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 切换至 GPT-5/GPT-6。实验显示 GPT-5 和 GPT-6 的 7 个模型均使用相同分词器,共 44,794 个 token。
来源:Simon Willison · simonwillison.net
ttok 1.0
Simon Willison 发布 ttok 1.0,将默认分词器从 GPT-4 切换至 GPT-5/GPT-6。实验显示 GPT-5 和 GPT-6 的 7 个模型均使用相同分词器,共 44,794 个 token。
来源:Simon Willison · simonwillison.net