科技日报记者 崔爽
7月6日，美团正式开源LongCat-2.0的模型权重、推理引擎与核心技术文档。同日，华为昇腾、摩尔线程、沐曦股份等国产芯片厂商宣布完成对该模型的推理适配工作。
LongCat-2.0采用MoE（混合专家）架构，总参数规模1.6万亿，每个Token（词元）平均激活约480亿参数，原生支持1M超长上下文；训练峰值规模超过五万张国产算力卡，预训练数据规模超过30万亿Tokens。这是业界首个完全依靠国产算力完成训练和推理全流程的万亿参数大模型。
据透露，美团LongCat团队对国产算力的探索始于2023年。三年来，团队从千卡规模起步，逐步攻克算子适配、通信优化、分布式稳定性等基础难题，最终在五万卡集群完成万亿参数模型的全流程训练与推理。
LongCat-2.0开源后，华为昇腾团队宣布在昇腾910系列上完成适配。新模型总参数量达1.6万亿。此外，摩尔线程、沐曦股份等国产芯片厂商，也在同日宣布完成对LongCat-2.0的推理适配，“国芯+国模”的协同研发，标志着单点突破持续迈向规模化推进。
网友评论
