浪潮AI数据平台有效应对大模型响应延迟和算力成本问题

2026-04-21 14:58:45 来源: 科技日报 点击数:

科技日报记者 张晔 实习生 胡泽妍

4月17日,浪潮信息“数海同舟”存储生态合作伙伴大会在江苏宜兴召开,会上发布AI数据平台A9000系列。该技术产品能在典型AI推理测试环境下将首Token时间降低97%,Token吞吐量提升20倍以上,以应对大模型推理中的响应延迟和算力成本问题。

随着Agent AI从技术探索走向生产应用,存储的角色正在发生变化。在多轮对话、长上下文和智能体协作场景中,存储不再只是承载数据的后台设施,而是直接影响AI响应速度和运行成本的环节。

据悉,A9000系列以AI原生并行架构设计为核心,单节点带宽达百GB/s,时延低至百微秒级。与传统存储围绕CPU设计不同,新架构大幅缩短了数据从存储到GPU的路径,减少了中间复制和排队时间。

另一方面,A9000系列内置AI原生KV Cache技术实现上下文数据跨请求复用,避免重复计算带来的额外算力消耗,测试显示,Token吞吐量提升20倍以上,单次推理成本显著下降。为进一步保障数据安全,其支持基于租户的统一资源管理,将各租户数据隔离在独立空间,实现数据、访问、配置的三重隔离,推动存储从传统数据承载介质,升级为深度参与推理过程、支撑多业务安全并行、保障结果可信的数据平台。

浪潮信息存储产品线副总经理郭海峰表示,AI基础设施从分散采购GPU服务器转向系统化建设“算力工厂”,存储转向连接算力与应用的关键环节,从静态沉淀数据的“数据湖”到流动的、能实时供给GPU的“数据河”。

(受访者供图)

责任编辑:李梦一
网友评论
最热评论
没有更多评论了

抱歉,您使用的浏览器版本过低或开启了浏览器兼容模式,这会影响您正常浏览本网页

您可以进行以下操作:

1.将浏览器切换回极速模式

2.点击下面图标升级或更换您的浏览器

3.暂不升级,继续浏览

继续浏览