
腾讯姚顺雨团队回答关于混元任何问题
【腾讯姚顺雨团队回答关于混元任何问题】11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队,在这个社区挂出了「Ask Me Anything」的帖子。此时距离混元把 770B 的 Hy4 权重全量开源,才过去不到一天。按常理,刚亮完肌肉该收一波掌声,结果两小时里涌进三百多条留言、近 100 个问题,问得最多的偏偏是:能不能再小一点、再便宜一点、别那么爱说套话。更反常识的是团队的回答。一边是「下一代 Hy 模型的规模一定会进一步显著扩大」,一边是「Hy3 和 Hy4 已经表明,做得扎实的较小模型,往往可以胜过更大的模型」。 一家刚把模型做大的公司,亲口把「参数=智能」这个等式划掉了。11 月 4 日,Hy4 正式版发布,在 Artificial Analysis 智能指数榜位列中国模型第二,AgentArena 榜居开源模型首位;一周多后,主打「日常工作极致性价比」的 Hy4 flash 跟进,腾讯自建 WorkIndex 评测里,它的单任务成本只有旗舰版的二十分之一,85 名内部用户、259 项任务盲测算下来约 0.26 元一单。 11 月 20 日,Hy4 权重上架 GitHub、Hugging Face、ModelScope、GitCode 四个平台,指令版、FP8 量化版、预训练底座、GGUF 与系统卡一并放出。
第二天凌晨,团队没有开庆功会,而是去了 Reddit。这是混元首次在开发者社区公开答问,全程 120 分钟,回答以团队名义发出,不逐条署名——以至于有媒体在评论区找了半天:「姚顺雨也来了,只是哪个是他的马甲我们不得而知。」
背景比这场问答本身更硬。姚顺雨 2025 年 12 月空降腾讯,统筹算力、数据与训练;2026 年 2 月,混元重建预训练与强化学习基础设施,九个月内跑完 Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash 的迭代。 同期腾讯三季度单季资本开支创纪录达 814 亿元,同比增长 527%,管理层也坦言先进算力收紧会影响下一代模型的推出节奏。 换句话说,这是一支刚完成重建、手里算力并不宽裕的队伍,选择去全球最挑剔的社区,把底牌摊开给人看。
基本面可以用几个数字框住:北京时间 11 月 21 日凌晨,Reddit 开源模型社区,120 分钟,近 100 个问题、三百多条留言,话题从模型路线、架构取舍、评测体系,一路铺到量化部署、安全过滤、创意写作与递归自我改进。
语气比数字更有信息量。被问规划,回答短得像电报:「会」「有可能」「大概不会」「记下了!」,全场说了五次「敬请期待」;被问架构,立刻换成长答,激活比例、KV 缓存、稀疏度曲线一个数一个数摆出来,有一次还替提问者把账重算了一遍。有人请他们给 DeepSeek、月之暗面、阿里排个名,得到的回复是「我才不上这个当」。
三百多条留言里,开发者反复追问的并不是跑分,而是真实任务表现、单次调用成本和生态适配。开源模型的竞争维度,早就不止榜单那一栏了。 这场 AMA 的本质,是社区对一家大厂「是不是真开源、敢不敢认短板」的一次现场审计。
有人直接把问题顶到脸上:字节、Kimi 都在往 3T 甚至 5T 参数冲,你们还在 700B,是不是保守?团队的回答是:「做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,研发过程中我们也能学到更多、收获更多。」紧接着被追问 Hy4.5 会不会扩到 1.5 万亿—2 万亿,答复干脆:「下一代 Hy 模型的规模一定会进一步显著扩大」,并补了一句「我们相信 Scaling law,并将继续投入」。两句话放在一起才完整:不是反 Scaling,是反「唯参数论」。大模型负责探智能上限,Flash、Mini 与端侧模型负责把能力压进高频、低价的真实场景,中间用蒸馏和强化学习打通。 姚顺雨此前批评过行业的「指标量化崇拜」——参数、跑分、算力利用率容易写进汇报,清洗一批脏数据、修一个底层 Bug 却短期看不出数字变化,而后者才真正决定模型质量。
架构权衡上,团队拆解MoE稀疏度逻辑,指出过度稀疏会浪费显存、算力,反而不利于推理;在MLA与GQA间经反复权衡,最终靠DSA降低解码算力瓶颈选择MLA,Hy4 flash通过多项架构优化将KV缓存压缩至原有的1/4,端侧将采用与边缘GPU协同设计的全新思路,而非直接缩小云端模型。后训练与基准上,后训练最难优化的是模型「过度思考」问题,Hy4通过蒸馏长思维链再用强化学习压缩的方式解决;放弃已饱和的传统基准,改用Agents' Last Exam、ProgramBench等更具挑战性的新测试。
产品路线:Hy4-mini、24B-31B稠密模型、35B-A3B Flash-Lite均在规划中,会推出适配24GB显存、64GB-128GB内存设备的版本,100B以下专用编程模型暂不开发;多模态端将推进小开源图像模型、视频模型,升级翻译模型Hy-MT,也将覆盖中文网文、仙侠翻译需求。
研究与开源:循环式MoE、持续学习、Hyra 3.0训练基建、科研方向强化学习均在推进,递归自我改进仍处早期,团队自评AGI等级为2.5级;坚持开源路线,推进llama.cpp适配与vLLM、SGL合作,安全上过滤网安攻击类训练数据,配套防护机制,正优化过度拒绝问题。
最出圈的两个名场面,都跟「人味儿」有关。有人问研发中最难的时刻,回答是:从 Hy3 扩到 Hy4 时数据消融没做够,训练刚开始「我相当紧张」,最后「感觉就像把筹码全押上,结果真的赢了」。 还有人许愿让大模型发明合自己口味的新食谱、或者生成「一张完美的馒头图片」,团队以「一个十足的吃货」接了梗。 两小时下来,少见地没吵起来——大概因为对面肯认短板、肯说「大概不会」,也肯陪着开玩笑。
以上就是【腾讯姚顺雨团队回答关于混元任何问题】有关内容,更多资讯请关注深港在线。