aifollow.news
Back 量子位 AI 报道
量子位 AI 报道· · Original publication time AI score47

Tencent Hunyuan says small Hy models are on its roadmap, with a 24GB VRAM model plannedMachine translation

腾讯混元确认Hy小模型已列入路线图,计划推出面向24GB显存的模型

AI-assisted summary

In a Reddit Q&A, the Tencent Hunyuan team said small Hy models are on its roadmap and that it plans to release a model for 24GB VRAM. Hy4 flash is already available in WorkBuddy for tasks such as editing spreadsheets, documents and presentations. In the team's internal assessment, its average cost per task was about one-twentieth that of the flagship Hy4.

Article · Original

还透露了不少训练背后的秘诀

听雨 发自 凹非寺

量子位 | 公众号 QbitAI

听雨 发自 凹非寺

量子位 | 公众号 QbitAI

Hy小模型已经在路线图上,面向24GB显存的模型也有计划。

今天凌晨, 姚顺雨和腾讯混元团队 来到Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。

AMA是「Ask Me Anything」的缩写,意思是「有什么想问的,尽管问」。网友在评论区提问,混元团队成员直接回帖。

参与名单上只列了Reddit账号,至于哪个马甲是姚顺雨,我们还没对上号……

这场AMA的主角,是混元本月接连发布的两款模型。

11月4日发布的 Hy4 是旗舰,能理解文本、图像和视频,适合长程软件工程这类需要多步推理、反复调用工具的复杂任务。

11月16日发布的 Hy4 flash ,主打日常办公的速度和成本。它支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。

Hy4和Hy4 flash都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里的修表、改文档、做PPT等典型任务纳入了内部评测WorkIndex,按这套评测测算,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。

两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置: 96GB显存、128GB内存,能跑Flash吗?

团队说能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。

也有人问llama.cpp,团队说适配正在做。

聊到研发,团队还透露了不少训练背后的秘诀。

Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。

让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。

还有网友问,后训练里最难改善的行为是什么,团队只回了一个词, Overthinking,过度思考。 旗舰Hy4的推理链有时偏长。到了Flash,团队先从旗舰蒸馏,再用强化学习把推理链压短。

从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。

以下是AMA问答节选,按主题编排,中文译文有删节。

Enjoy~

Hy4为什么「想太久」,Flash又是怎么训练的?

网友: 和Hy4 preview一样,Hy4正式版有时也会推理太久。这和强化学习的奖励设计有关,还是和训练数据的分布有关?模型能学会什么时候停下来吗?

混元团队: Hy4的目标是尽量提高智能水平,推理链偏长是我们知道的问题。我们可以把Hy4蒸馏成成本效率更高的Hy4 flash,并在Flash上用强化学习缩短推理链。

网友: 后训练阶段,最难改善的是哪种模型行为?

混元团队: 过度思考。

网友: Hy4现在的参数规模还有多少提升空间?以后想做出更强的模型,必须继续加参数吗?

混元团队: 我们认为Hy4还有相当大的提升空间,尤其是在后训练上。我们在投入大规模强化学习,也在继续改善用户体验和模型安全性。同时,我们计划训练更大规模的模型。

网友: 训练Hy4和Hy4 flash做长程Agent任务时,多轮强化学习里最难处理的情况是什么?

混元团队: 最棘手的是训练环境设计有漏洞,模型会钻空子拿奖励。比如,我们得防止Agent直接上网搜现成答案,让它自己把任务做完。

网友: 做命令行任务时,模型编错一个参数就可能让命令出错。你们怎么提高工具调用的准确性,又怎么让模型在长任务里记住前文?

混元团队: 我们在强化学习数据里加入了模型容易犯错的难例,奖励也做得更细,关键细节出错会扣得更重。对于长任务,我们在持续拉长强化学习训练所用的上下文,也在提升模型压缩上下文、保留关键信息的能力。

网友: 姚顺雨经常提到,选训练数据需要有判断力。你们怎么判断一批数据好不好?

混元团队: 数据质量有很多维度,不同领域、不同任务的要求也不一样。无论用人类专家还是智能体,设计和清洗数据都要花很多功夫。最后还是要做实验,看这批数据能不能带来提升。

网友: HyRA 2.0实验里,Hy4带来的提升主要来自哪里?它有发现新的架构或数据配比方面的改进吗?

混元团队: 这次提升主要来自底层吞吐优化。要让模型进一步参与研发,还得提高它判断训练方案的能力。用AI做AI研发,本身也是一件周期长、难点多的事。

网友: 你们已经用Hy4和HyRA 2.0改进了训练基础设施,也训练出了更好的小模型。接下来会做什么实验,看看这一轮训练出的模型能否在下一轮更擅长做研发?

混元团队: 我们正在做HyRA 3.0,敬请期待。

网友: 如果让Hy4自己运行,它现在能通过递归自我改进做出下一代模型吗?你们怎么评估这种能力?

混元团队: 我们的递归自我改进能力还处于早期,已经做了几项内部基准,用来评估其中的关键能力。

Flash的参数花在哪儿了?

网友: 不算Engram,Hy4 flash主干约有1560亿参数,每个Token激活约120亿。如果总参数不变,把激活参数降到80亿或50亿,效果会掉多少?

混元团队: 我们做过不同MoE稀疏度的规模实验。固定激活参数量时,提高稀疏度能改善计算效率。但如果固定总参数,再把激活量降到80亿或50亿,我预计模型质量会明显下降。激活参数量决定了每个Token能用多少计算,提高稀疏度能弥补一部分。

网友: Hy4 flash为什么给Engram分配约635亿参数?这个比例是怎么定的?

混元团队: 我们的实验看到了一条U形曲线。把Engram也计入总参数量,Engram占比在三分之一左右时,接近实验里的最优点。占比再往下调,计算效率会降低。

网友: Flash为什么选择滑动窗口注意力 (SWA) ?

混元团队: 滑动窗口注意力能把KV缓存压到原来的约四分之一,显著降低部署成本。

小模型、本地部署和下一步

网友: 会有Hy4 mini吗?还有人想要比Flash更轻的版本,跑文档解析、分类和简单自动化。

混元团队: Hy小模型已经在路线图上。

网友: 下一代Hy模型会做到1.5万亿至2万亿参数吗?

混元团队: 下一代Hy模型的规模肯定会进一步显著扩大。

网友: 会考虑推出更轻量的Flash-Lite吗?比如用来做文档解析、分类和简单自动化。

混元团队: 有的,敬请期待Flash-Lite。

网友: 有面向24GB显存的模型计划吗?

混元团队: 有,未来会发布。

网友: 我有96GB显存、128GB系统内存,能跑Hy4 flash吗?

混元团队: 可以。主要权重和注意力计算放在GPU上,部分专家层可以卸载到系统内存,Engram表也可以放在内存里。

网友: 同一个工作任务,托管版Hy4 flash在我的测试里全对,本地NVFP4版本却出现了约8%的错误。这个模型更难量化吗?

混元团队: 量化质量很看方法和校准方式。团队建议试试用GPTQ量化的NVFP4版本。在我们的评测里,这个版本与BF16的差距较小,更适合这类对准确率敏感的任务。

网友: llama.cpp支持会怎么推进?你们会和推理框架社区提前合作吗?

混元团队: 我们正在做llama.cpp适配,预计近期会在社区放出。我们也在和vLLM、SGLang等社区合作。

网友: 现有的Hy4 flash还会更新吗?

混元团队: 会。我们正在优化Flash级模型的预训练和后训练方案。

怎么看模型的表现

网友: 为什么没公布GPQA Diamond、τ-bench、IFBench、SWE-bench这些常见评测的成绩?

混元团队: 我们展示的是Agents’ Last Exam、ProgramBench这类较新、难度更高的评测。你提到的几项出现得更早,分数已经接近饱和。

网友: 我感觉有些模型的写作能力在退步。是因为拿太多代码来训练、过拟合了,还是有别的原因?

混元团队: 我们也注意到了,可能和训练目标有关。我们希望模型写得更像人、少一点套话,这方面正在改进。

One More Thing

那么,QA实录到这里就结束了。

想自己试试Hy4 flash?打开WorkBuddy,在模型列表里选中 Hy4 flash ,把手边待改的表格或待整理的会议纪要交给它跑一遍。

11月30日前,可以在WorkBuddy限时免费体验~

参考链接:

https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

Found an error? Send a correction