科技日报记者 罗云鹏
3月12日，云天励飞中标湛江市AI渗透支撑新质生产力基础设施建设项目，中标金额4.2亿元。项目将基于云天励飞自研的国产AI推理加速卡，建设国产AI推理千卡集群。该集群将搭载DeepSeek等国产大模型，为政务、产业及各类应用场景提供更加便捷、低成本的AI能力，探索打造“国模国芯”的AI生态样板。
过去，国内诸多智算中心普遍采用“训推一体”的建设模式，而该集群则定位为专注于推理任务的AI推理集群，主要面向各类行业应用场景，为传统产业的AI化提供直接支撑。
据悉，该集群采用云天励飞自主研发的AI推理加速卡，并在系统架构上确立了“优先优化Prefill（预填）、兼顾Decode（解码）”的技术路线，使系统在长上下文推理场景下依然能够保持较高的吞吐效率。
在网络互联方面，系统采用统一的高速互联架构，通过400G光网络构建集群物理层网络，实现节点之间的高带宽、低延迟通信。与传统在节点内和节点间分别采用不同协议构建网络的方式相比，这种同构互联架构减少了协议转换带来的额外开销，也简化了系统部署。
在部署能力上，该架构既可以支持单节点数十卡规模扩展，也能够平滑扩展至千卡级集群规模，以适配不同规模AI应用需求。
此外，针对大模型推理中KV Cache（键值缓存）访问带来的压力，系统在计算互联与存储互联层面进行了协同优化。通过计算网络与存储网络的联合调度，可以显著提升数据读取效率，使模型在长上下文推理场景下依然保持稳定性能。
另悉，本次AI推理集群将分三期建设。其中，一期项目将部署云天励飞X6000推理加速卡；二、三期建设将率先搭载云天励飞最新一代产品。
随着大模型逐步进入产业应用阶段，AI基础设施的发展逻辑也正在发生变化——从单纯追求算力规模，转向更加注重效率与成本。业内人士表示，推理算力将成为决定AI应用规模化落地的关键基础设施。谁能够以更高效率、更低成本提供稳定的大规模推理能力，谁就有机会在新一轮人工智能产业竞争中占据先机。
值得一提的是，此次湛江AI推理千卡集群的建设，不仅将为当地产业数字化转型提供重要算力底座，也可为“国模国芯”协同发展提供实践场景。
网友评论
