科技日报记者 操秀英
8月7日,浪潮信息发布面向万亿参数大模型的超节点AI服务器“元脑SD200”。该产品基于浪潮信息创新研发的多主机低延迟内存语义通信架构,以开放系统设计向上扩展(Scale up)支持64路本土GPU芯片。“元脑SD200”可实现单机内运行超万亿参数大模型,并支持多个领先大模型机内同时运行及多智能体实时协作与按需调用,目前已实现商用。
简单来说,超节点是一个通过GPU互联技术实现的超大计算系统。以前一台服务器算一个节点,超节点则把多个节点优化组合在一起,它将多台服务器、多张算力芯片卡整合为规模更大、算力更强的整体算力单元,突破传统算力部署的边界。这种聚合并非简单的硬件堆叠,而是通过优化节点内互联技术、液冷散热等手段,提升集群整体能效、通信带宽与空间利用效率。
浪潮信息副总经理赵帅分析,当前,混合专家模型的高效架构正在驱动大模型参数规模持续扩展,国内外前沿大模型的参数量快速突破万亿规模,这给算力系统架构提出新的挑战。一方面,模型参数量增加和序列长度增加带来的键值缓存激增,需要智能计算系统具有超大显存空间承载,依靠单芯片或节点的性能提升已难以为继。另一方面,智能体AI开启多模型协作的新范式,其推理过程需要生成比传统模型多近百倍的数据词元,导致计算量激增。
传统算力架构已难以满足高效、低耗、大规模协同的AI计算需求,行业亟须一场技术革新。“在此背景下,产业界转向构建超节点以及产业链多个环节协同创新方式来解决当下算力需求。”赵帅说。
“元脑SD200”超节点基于开放总线交换技术构建,成功解决了万亿大模型对超大显存空间和超低通信延时的核心需求。在开放架构之上,“元脑SD200”通过智能总线管理和开放的预填充—解码(PD)分离推理框架实现软硬件深度协同,智能化管理复杂AI计算任务。
“优秀的软硬件协同能力是浪潮信息的优势。”赵帅说,“元脑SD200”超节点AI服务器通过软硬协同系统创新,成功向上扩展突破芯片性能边界,在大模型场景中展示出优异的性能表现。结合优化的PD分离框架,SD200超节点满机运行DeepSeek R1全参模型推理性能超线性提升比为3.7倍,满机运行Kimi K2全参模型推理性能超线性提升比为1.7倍。
当前,开源模型的飞跃式进步正在加速智能时代的到来,推动研发范式从封闭走向开放协作,大模型参数量的持续提升,对算力基础设施的建设提出了更高要求。“浪潮信息通过开放系统架构创新,为开源大模型的规模化落地和应用创新提供关键支撑。”赵帅说,超节点的搭建需要使用大量高速连接器、高速线缆、板材等产品。“通过带动上下游相关技术的创新突破和应用,推动形成更好的产业生态,进而提高生态竞争力。”赵帅说。
(活动主办方供图)