科技日报记者 王小龙
10月20日消息，由中国团队记忆张量研发的记忆原生模型MemT 1.0系列正式发布并开源。该系列将可持续存在、能够更新的内部记忆纳入模型计算，使历史信息与任务经验能够在后续相关任务中被直接调用，无需再次提供原始历史文本，为人工智能大模型能力增长探索出新路径。
据介绍，该系列包含MemT-1.0-Flash与MemT-1.0-Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。
评测结果显示，在11项记忆基准上，MemT-1.0-Flash与MemT-1.0-Nano的平均得分分别为50.6与47.0，位列本次评估的参数化记忆方法第一、第二。业内分析认为，记忆原生为持续学习与递归自我改进提供了基础，有望推动大模型从“会推理”走向“会积累、会成长”，为智能客服、软件研发自动化、个性化服务等应用场景提供支撑。
目前，MemT 1.0系列已通过Hugging Face等平台开源，开发者可免费获取模型权重。研发团队向记者表示，下一步将持续提升长期记忆、扩展记忆容量、降低记忆更新成本，进一步探索自主获取经验与跨任务持续整合记忆，更好服务人工智能技术发展与产业应用。
网友评论
