姚顺雨团队回应近百问题:不刻意刷榜,将训练更大模型
在接连发布 Hy4 和 Hy4 flash 之后,腾讯混元团队通过一场持续 120 分钟的社区问答,集中回应了外界关于研发方向和技术路线的疑问。腾讯首席 AI 科学家、混元大模型负责人姚顺雨与团队成员一同参与,回答了近百个问题。

参数规模:现有模型仍有空间,下一代将显著扩大
模型的参数量是讨论的焦点之一。面对字节、Kimi 等厂商向上万亿参数推进的态势,混元团队解释,总参数量 770B 的 Hy4 和参数量 224B 的 Hy4 flash 相比偏重编程,更多面向通用用途。团队表示,Hy4 还有很大提升空间,尤其是在后训练方面,正在大规模强化学习上投入大量精力。
对于更大规模的计划,混元团队明确表示正在计划训练参数规模更大的模型,相信 Scaling Law(缩放定律)并将继续投入,下一代 Hy 模型的规模将进一步显著扩大。
小参数模型同样在考虑之中。团队透露,更小尺寸的 Hy4-mini 已在路线图上,并在考虑研发 24B 至 31B 的稠密模型,一款前沿的 Flash Lite 也在路上。此外还会考虑做一个更小的图像模型,并请外界关注视频模型。“Hy3 和 Hy4 已经表明,扎实的较小模型也可以胜过更大的模型。更重要的是,它们成本更低。”混元团队称。
能力定位与“过度思考”难题
有用户以一张 AGI 发展阶段表格提问,表格显示 2 级为达到熟练成年人的中位数水平,3 级为达到熟练成年人的前 10% 水平。混元团队回应,目前 Hy4 处于 2.5 级。
技术层面,有用户提到 Hy4 有时推理耗时过长。混元团队承认,Hy4 的目标是尽可能提升智能水平,因此思维链(CoT)过长是已知问题;团队将其蒸馏为性价比较高的 Hy4 flash,flash 通过强化学习来确保思维链较短。团队也坦言,在后训练阶段最难改善的行为正是“过度思考”。
混元团队还透露,正将创意写作和可读性作为重点改进方向,认为这个方向仍有提升空间。团队相信数据和评估是实现 AGI 的最重要工具:数据决定模型的能力,评估则引导向正确的方向。同时,团队也在研究持续学习技术,即让模型从连续数据流中学习新任务并避免遗忘旧知识,认为这是一个很有前景的方向。
评测思路:不刻意刷榜,压榨现有资源追赶前沿
自姚顺雨负责以来,混元大模型放弃了通过基准测试分数刷榜的方向。有用户注意到混元未公布 GPQA Diamond、SWE Bench 等常见基准测试结果。混元团队回应称,这些基准推出较早,分数已饱和,团队展示的是较新的高难度基准成绩,例如 Agents' Last Exam 等,并强调模型研发中会通过更好的训练数据和多样化的内部评测来处理相关问题,不刻意刷榜。
在被问到先进 AI 芯片供应限制下混元能否追上最前沿的模型时,混元团队回应称,目前正在极致压榨现有资源,以追赶前沿水平。
从这场问答可以看出,混元团队在参数规模、评测方式与资源约束之间选择了自己的节奏:不追求榜单分数,而是把重心放在后训练、强化学习与下一代更大模型的推进上。