百度发布 ERNIE 5.5 Flash Base,开放预训练基础模型权重
百度已在 Hugging Face 和 ModelScope 发布 ERNIE 5.5 Flash Base 的 FP8、BF16 权重。这个文本模型总参数量为 2800 亿,每个 token 激活 140 亿参数;权重停留在预训练结束阶段,适合团队从同一起点比较不同训练方法。百度自报的统一评测中,它在 30 项基础模型测试里有 24 项得分最高,但也有 6 项落后。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读