腾讯发布Hy4 flash:支持1M上下文,激活参数12B

腾讯发布Hy4 flash:支持1M上下文,激活参数12B

凤凰网科技讯(编辑/宋淑美) 11月16日,腾讯发布Hy4 flash模型,定位于日常办公及智能体任务。该模型总参数量为224B,其中包含64B Engram参数,单次激活参数为12B,支持多模态输入和最高1M上下文长度。

腾讯方面表示,Hy4 flash在预训练阶段引入混合注意力、LatentMoE及Engram等架构,KV Cache规模约为Hy3的1/24、Hy4的1/6。在后训练阶段,该模型通过Hy4自蒸馏提升综合能力,并利用强化学习将端到端任务的输出长度缩短约50%。

推理性能方面,Hy4 flash结合Megakernel、4bit量化和dflash等技术,解码速度超过150 tokens/s。腾讯公布的内部评测结果显示,该模型综合表现略高于Hy4 preview;在WorkIndex工作任务测试中,平均单任务成本约为Hy4 preview的1/13、Hy4的1/20。

WorkIndex覆盖PPT制作与修改、文档编辑、表格修复、音视频处理及视觉理解等八类任务。腾讯还组织85名内部用户对27类、共259项日常工作任务进行盲测,结果显示,Hy4 flash的单任务耗时在参与对比的模型中最短。

目前,Hy4 flash已接入腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima及Marvis等产品,后续还将上线OpenRouter。腾讯表示,未来计划开源该模型并持续迭代。