Stanford 与 UC Berkeley 研究人员发布 TokenGate,加速长文本处理
自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。
TokenGate 通过可训练的筛选模块,让模型只对部分输入词元进行完整处理。研究团队在 Qwen3-1.7B 的五项任务中报告,首个词元生成时间缩短至原来的约 1/1.4 至 1/11.3,峰值预处理内存降至约 1/1.5 至 1/3.4;计时使用单张 A100、批量大小为 1,代码和模型检查点已公开。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读