中国用户竞相升级大数据存储
中国科技网记者 高博
数据多了,存取就麻烦。在浙江大学附属第一医院,随着医疗设备增加和影像分辨率增高,数据飞速增长。IT部门头疼,医生们抱怨:从系统里读片太慢了!
浙大一院面对的,是许多企业都面临的PB级大数据挑战。世界领先的存储解决方案提供商Hitachi Vantara公司日前透露,他们的核心业务去年在中国市场有四位数的增长。
“数字化转型是我们的中国客户的业务核心。我们要帮助客户更好地存储、丰富、活化数据,并从中创造财富。”3月13日,Hitachi Vantara首席商务官Hans-Peter Klaey(雷汉朋)在上海表示,全球大数据技术升级浪潮中,中国用户非常积极,其需求和欧美用户是一样的。
浙大一院的数据,2018 年达260TB,2023 年可能达到1000TB。医院要求永久保存数据;医生查房、问诊要调阅近期影片;长期慢性病要调阅历史影片。2000 个阅片报告的客户端要同时在线读写,很慢。过去为节省空间,十几天前的数据将从高速硬盘迁移到低速硬盘;每天读写离线硬盘的操作由软件公司专人管理;离线存储用光盘 ,一万多张光盘放置于一个房间,查找非常不便。
Hitachi Vantara帮助浙大一院搭建的新系统,配置70TB 闪存空间,2000MB/s的吞吐在线存储系统,轻松满足50%的并发读写。一张512KB的小CT图,阅片时间从之前的 1 分钟提高到几秒;500MB 的造影图文件,半个小时的阅片缩短到秒级。
系统每天定时复制闪存数据到海量存储单元,无需人工介入。超过 12 个月的影像原件删除,保留影像以备回调。做到全部数据24小时在线。海量影像的存储空间可扩展至800PB,从光盘换成硬盘;通过一系列功能避免误删和损坏;同时损坏 6 块硬盘也可以不丢数据。
浙大一院使用的这种”对象存储“平台,也被新兴的娱乐视频商”咪咕“采用。咪咕每年PB级的视频数据增长,让传统的存储不堪重负,转型成了必然。
存储系统提供商积极响应这一变化。Hitachi Vantara全球副总裁兼中国区总经理戴建平表示,在中国,基础架构、物联网和数据分析解决方案等业务都高速增长。重点业务跨越金融、电信、政府、制造和医疗。2018年Pentaho(Hitachi Vantara的一个商业数据分析平台)的业绩增长四位数,对象存储业绩增长三位数。这说明中国客户的数字化转型是如何的急迫。
麦肯锡数据显示,目前企业利用的数据不到其存储的5%。Hitachi Vantara的存储系统既被用于NASA的航天影像填充和火星探索,也用于保险巨头的保单协议管理。目前,全球的企业需求都要求存储数据的同时,管理数据并用于发掘价值。这需要融合IT能力和企业业务。让数据中心附加商业智能分析。Hitachi Vantara也在2018年设计了可以深度学习的GPU服务器。
MyRepublic是东南亚一个新兴的电信运营商,正推出移动服务,预计将带来比宽带时代多100倍的数据。它传统的数据处理很繁琐,人力密集型,需集成各国数据与第三方系统的数据,同时工程师手动编写脚本提取数据并转换为报告。八名工程师干一小时到几个星期。而他们采用Pentaho技术平台后,只用两名工程师就整合不同数据。此外,Pentaho使传统数据系统、客户关系管理和后台系统轻松嵌入仪表板,并能轻松洞察大数据内的玄机。长耗时的收集数据转为实时运用数据。
“一般公司需要大概一周时间处理跨领域数据,如今我们只要15分钟。更大的优势是Pentaho让我们将数据快速添加到数据管道,为创建全新的数据创收模型铺平了道路。”MyRepublic的首席信息官Eugene Yeo说。