天极大咖秀

登录 | 申请注册

从数据中心存储架构演进,窥见“智能盘框”的巨大价值

海峰看科技 2023-07-25 阅读: 7,186 次

文/黄海峰的通信生活

当下数字时代,各行业数据呈爆发式增长。据IDC报告,2022—2026年,企业生成的数据将从59ZB增长到155ZB。

随着5G+工业互联网、一体化在线政务平台、教育实训云、物流行业云等新兴应用兴起,云和互联网数据中心成为企业赢在未来的重要IT基础设施。那么,各行业企业如何建设顺应趋势的数据存储基础设施?

只有看清趋势,才能纵横数字时代。通过洞察云和互联网数据中心架构呈现的发展趋势,我们发现一方面,能实现更高存储效率的Diskless架构兴起,另一方面“智能盘框”这个新物种,正受到越来越多的企业青睐。

云与互联网数据中心领域为什么会出现这样的趋势?企业又该如何抓住新架构下的新机会?

数据中心架构新趋势:Diskless架构崛起

随着企业云化演进的不断实践,企业在持续探索最佳云和互联网数据中心架构建设模式:从起初的物理服务器架构,到后来的虚拟化,再到如今的云计算、大数据等技术的兴起。当新的业务出现后,企业为了快速部署新业务,选择了应用与本地盘耦合的服务器一体化架构。这种架构可实现资源池化、统一管理、横向扩展等能力。

但传统的服务器本地盘方案,面临诸多挑战。第一,数据保存周期与服务器更新周期不匹配。目前,数据中心采用服务器建设方式,而服务器3—5年更新周期与数据保存8年周期不匹配,导致资源被浪费。

第二,性能可靠与资源利用率难以兼得。传统数据中心通常采用三副本或两副本并配合独立冗余磁盘阵列卡模式 。这类方案虽兼顾了性能和可靠性,但其仅有30%的空间利用率,对存储资源的极大浪费。

第三,新型分布式应用的极简高效共享存储诉求难满足。比如,超高清视频化管理等新型分布式应用在近些年涌现,导致数据库、消息总线等组件纷纷容器化,数据共享访问的诉求不断增多。

第四,数据中心税导致数据密集型应用效率低下。传统的数据中心往往通过CPU为处理网络及存储IO请求,需要消耗高达30%算力。同时, CPU 并不擅长数据处理运算,导致其能效比低下。

为了应对以上挑战,众多厂商不断尝试新的解决方案。有厂商推出采用NoF等新型数据访问标准的EBOF高性能盘框,希望提供高性能存储。有厂商尝试采用DPU和IPU等专用芯片,取代通用处理器,实现提升算力能效比。

我们注意到,当下随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心,向着新型存算分离架构演进,以确保云和互联网存储域服务能够兼顾资源利用率、可靠性等诉求。

在以上诉求的驱动下,以数据为中心的Diskless架构进入大众视野,并迅速得到应用。

资源池化的Diskless架构,将服务器本地盘拉远,将原有的多级分层资源,彻底解耦池化和重组整合,实现了各类硬件的独立扩展和灵活共享,所以成为发展趋势。

小空间大肚量:智能盘框成Diskless架构最优解

当Diskless架构成为新趋势之时,数据中心专用GPU/DPU/IPU等算力芯片,要搭配怎样的存储模块存力产品,才能顺应存算分离趋势,为行业带来最优解?此时,我们注意到数据中心存储设备新物种——智能盘框。

智能盘框是业界面向Diskless架构的新型盘框(专用存储模块设备,具有极高的存力密度)。智能盘框的诞生,是用户存储压力大、存储利用率低、数据无效搬迁、海量数据盘管理难度大、软件开发难等痛点驱动。

随着各行业数字化转型,数据爆发式增长。以抖音为例,用户上传的抖音视频大小从几兆字节到几百兆字节不等。如果每个视频按20MB计算,抖音每天需要存储大约20PB的视频内容。据《数字中国发展报告(2022年)》数据,截至2022年底,我国数据存储量达724.5EB,占全球数据总存储量的14.4%。存储效率的提升尤为重要。

在近日第十八届中国IDC产业(大湾区)年度大典上,中国计量院发布《存储容量计量白皮书》,指出保证存储容量利用率的关键技术以及存储计量关键指标。其中指出,智能盘框就是这样高效的存储模组系统,可通过系列高效存储技术提升数据中心存储利用率,实现小空间大“肚量”。

智能盘框这样的高效存储系统,主要采用了什么技术实现?笔者求证了下专家,得知主要有三个,即虚拟存储技术、分层存储技术以及存储容量缩减技术。

第一,虚拟存储技术,可实现利用软硬技术,将分散的存储设备资源整合,形成虚拟的存储空间,为用户分配逻辑存储空间。相比于传统的存储物理存储设备,虚拟存储技术可实现用户共享存储空间,有效提高存储设备利用率,带来更多可得容量。

第二,分层存储技术,一种让数据在不同存储层次间进行迁移管理的技术,不仅可提高存储设备性能,还可节约成本。

第三,存储容量缩减技术,主要通过重复数据删除和数据压缩两种技术,实现数据的缩与减。

在缩方面,主要通过采用相关编码技术来降低数据的冗余,从而达到缩减存储容量的目的;在减方面,通过删除待存储数据对象如文件或者数据流中重复的字节、数据块或文件,使得在物理存储介质中对相同的数据只有一个拷贝存在,从而实现存储容量缩减。

智能盘框通过上述技术,提高存储效率,在保证数据可用性和可靠性的前提下,尽最大可能减少需要存储的实际数据量,保证用户更多的可得容量。智能盘框这样的大容量高效存储系统,可以利用有限的存储介质存储更多的有用数据,从而提高存储容量的利用率,减少系统在存储设备方面的硬件成本开销,降低存储设备的能耗开销。

由此可见,智能盘框产品是数字时代,行业翘首期盼的新产品,符合Diskless架构,可助行业应对数据中心存储面临的各种挑战。

笔者观察:谁是智能盘框新物种引领者?

智能盘框是数据中心存储设备需要的新物种,那么,纵观整个行业,谁才是新物种引领者?

我们注意到,在Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。

在专用存储模块领域,华为去年发布的OceanDisk智能盘框产品,就是一款标准的大存力新型盘框产品,可助数据中心在数据存储方面性能提升。

华为OceanDisk不仅实现机柜空间和设备功耗分别降低40%,还借助高速NoF+网络和FLASHLINK智能盘控协同算法,带来250万IOPS,50GB/s带宽的高性能。在可靠性方面,OceanDisk通过双控Active-Active架构,硬盘亚健康管理、加密盘和慢盘智能优化等多重可靠性技术,与服务器本地盘相比,可实现系统级可靠,数据盘故障可预测、可视可管,大幅降低运维难度。

一位华为专家告诉笔者,面向Diskless服务器架构,华为积极行动,推出OceanDisk智能盘框,通过多个技术优势,希望助力云和互联网数据中心实现绿色低碳高效发展。

察势者明,趋势者智,驭势者独步天下。当云和互联网数据中心架构展露出新趋势时,行业只有应顺势而为,才能在数字浪潮中激流勇进,屹立于时代之巅。

在这一过程中,我们认为,华为凭借在数据存储领域的深厚积累,铸就“智能盘框”新品,内置专业存储的数据缩减、分层存储等能力,对外提供更高存储利用率,带来更多可得容量,将助力各行业在数字海洋中加速前行!

在此,笔者希望更多企业能够加入推动“智能盘框”新物种演进行列中,共同筑牢云与互联网数据中心存储基石。

海峰看科技
独立科技评论员,《海峰看科技》账号创始人,多次接受央视、环球时报、科技日报等采访。 ICT行业杂志前副主编,从业十多年,聚焦5G、手机、IoT、光、云、AI、互联网、智能汽车、机器人等。 每年与超100位科技行业企业CXO/VP/总监面对面交流。 多个年度《中国信息通信行业发展报告》特约撰稿人。 毕业于北京邮电大学,曾获十大通信行业自媒体称号。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)