科技日报记者 罗云鹏
11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中64B Engram参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比 Hy4大幅降低。

据悉,在预训练阶段,Hy4 flash加入了混合注意力、LatentMoE、Engram等架构特性,KV cache大小仅为Hy3的1/24、Hy4的1/6,通过大量scaling ladder实验确保效果符合预期。
在后训练阶段,通过自蒸馏Hy4获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低50%。
在评估阶段,构建基于WorkBuddy典型任务的内部评测集WorkIndex,并结合人评,聚焦日常工作的产物效果、单轮输出长度、端到端用时,而非远离日常工作的公开榜单分数。
在推理阶段,结合megakernel、4bit量化、DFly 等手段极致优化,使Hy4 flash解码速度超过150 tps,且可以大规模低成本部署运营。
最终,Hy4 flash在综合效果上略优于更大参数的Hy4 preview(总参数为770B,激活参数 49B),但成本显著降低。

按内部评测集WorkIndex(覆盖 PPT 制作与修改、文档编辑、表格修复、音视频处理及视觉理解等 WorkBuddy 典型任务)综合测算,Hy4 flash 单任务成本仅为Hy4 preview的1/13、Hy4的1/20、DeepSeek-V4.1-Flash-1017(Max 档位,忙时价格)的1/8。
内外部任务上的性能和成本。其中WorkIndex 包含8个内部评测集(PPT制作、PPT修改、PPT人机双写、Markdown人机双写、文档编辑、表格修复、音视频处理、视觉理解);Open Benchmarks 包含 7 个公开 Agent 评测集(DeepSWE、ProgramBench、Terminal-Bench 4.0、APEX-Agents、AutomationBench、HLE、OSWorld 2.1)。
腾讯内部85位WorkBuddy用户盲测体验显示,在27类共259个任务中,Hy4 flash的用户满意度接近Claude Haiku 5.5,且单任务成本显著低于其他所有模型,任务时长也最短。

Hy4 flash已在腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis等产品上线,即将接入OpenRouter。11月30日前,用户可在WorkBuddy限时免费使用,腾讯云TokenHub API限时5折使用。

(受访者供图)

网友评论