原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
萨姆·奥尔特曼称 token 是“一种虚假的计量单位”:你可以数清它们的数量,但 token 数量并不能告诉企业花的钱换来了什么。
为 token 辩护的一个理由来自信息论:模型在传递有效信息的同时仍会输出噪声;一旦消除这种浪费,token 数量就会接近香农下限,即传递实际信息所需的最低数量。
---- 完整视频见“Cheeky Pint”YouTube 频道(链接在评论中)
· UTC+8
Sam Altman 称,token 可以计数,但数量无法告诉企业花钱后得到了什么。材料还提出一种信息论上的辩护:模型输出仍混有冗余信息;若去除这些浪费,token 数量会接近传递实际信息所需的最低值。
萨姆·奥尔特曼称 token 是“一种虚假的计量单位”:你可以数清它们的数量,但 token 数量并不能告诉企业花的钱换来了什么。
为 token 辩护的一个理由来自信息论:模型在传递有效信息的同时仍会输出噪声;一旦消除这种浪费,token 数量就会接近香农下限,即传递实际信息所需的最低数量。
---- 完整视频见“Cheeky Pint”YouTube 频道(链接在评论中)