Follow

字节跳动旗下的Seed团队发现，检索效果取决于词元相对于压缩步幅的位置；这一规律在没有RoPE或学习门控时仍然存在，并随步幅变化。

1 个出处

Latent Space AI 报道 ↗