天极大咖秀

登录 | 申请注册

攀登比珠穆朗玛更高的山峰,数据存储技术的突破之路

于洪涛 2021-07-20 阅读: 6,281 次

地球上最高的山峰,大家都知道是珠穆朗玛峰,那么太阳系最高的山峰呢?

答案是火星上的奥林帕斯山(Olympus Mons)。奥林帕斯山高于火星基准面21千米,远远超过珠穆朗玛峰的8.8千米,其山脚到山顶的高差也高达22千米,同样超过地球上高差最大的冒纳凯阿火山的10千米。

 

在物理世界,山峰是自然力量的象征;而在数字世界里,数据则是智慧力量的来源。

或许正是因为如此,华为将其聚焦在数据基础技术的科研大奖命名为Olympus Mons,即奥林帕斯大奖,专门用于重奖那些在数据存储领域实现技术突破的科研工作者。

设立奖项只是一种形式。在奥林帕斯大奖的背后,是华为通过汇聚产学研各方能力,来推动数据技术实现突破性发展的雄心,从而为数字经济发展提供更好的数据基础设施。

11

打造数据基础设施,发挥数据价值

随着数字化时代的到来,数据的价值越来越突出,正在日益成为国家、企业、甚至个人的核心资产。

与传统经济相比,数字经济的本质就是数据的流通,数据也成为智能社会的主要生产要素。IDC的调研显示,2020年全球共创造了59ZB的数据,到2025年则将达到163ZB。

如此巨量的数据资产,需要经过数据采集、数据存储、数据分析等流程才能产生价值,其中数据存储无疑是基础。在数据中心里,存储也与计算和网络一道,成为关键基础设施,为整个数字化进程提供支持。

在数据量高速成长的同时,数据的形态也日益多样化,视频、图片、音频等非结构化数据已经成为数据的主体。这些复杂的数据要想充分发挥价值,就需要更加高效的数据存储和数据管理。

有统计显示,如今只有2%的数据被保存,保存下来的数据也只有10%得到分析利用。华为数据存储与机器视觉产品线总裁周跃峰介绍说,数据在企业数字化转型中扮演着越来越重要的角色,然而企业却面临海量数据存不下、流不动、管不好的问题。

为了满足客户日益增长的数据存储需求,华为主张构建端到端的数据能力,包括计算、存储、利用和AI等能力,让数据在全生命周期内实现每比特价值最大,每比特成本最优。

33

攀登奥林帕斯,寻求存储难题的突破

华为的努力,已经收到了成效,如今越来越多的政企使用华为的数据存储解决方案,来实现对数据资产的管理。

甘肃敦煌研究院,正在利用华为的海量存储解决方案,通过计算机技术和数字图像技术,实现敦煌石窟文物的永久保存、永续利用。

然而,整个敦煌莫高窟拥有735个洞窟、4.5万平方米壁画、2415尊泥质彩塑,要把这么多文物数字化,达成构建数字敦煌博物馆的目标,意味着需要大量的投资和海量的存储设备。显然,要想解决这一问题,仅靠华为自身的努力还不够,而需要各个方面的共同参与,通过打造产业技术生态,来实现存储技术的新突破。这也正是华为设立“奥林帕斯奖”的初衷。

据了解,华为“奥林帕斯奖”,每年都聚焦于数据领域的两个主要技术难题来寻求解决方案。在去年底的全球数据存储教授论坛上,第二届的“2021年奥林帕斯悬红”两大难题已经确定:一是构建每比特极致性价比的数据存储,二是实现下一代存储产业根技术突破。对于每个难题,华为都给出了高达100万元的悬红,

华为希望通过“奥林帕斯奖”的设立,与学术界在Cloud-Oriented多云存储服务、Data-Centric新型数据应用存储系统、AI-Driven存储软件架构、创新体系架构等技术方向共同攻坚,构筑更好的数据存储系统。

22

数据压缩大赛,挑战压缩算法极限

我们都知道,妨碍电动汽车推广普及的主要制约因素是电池的能量密度,其决定了电动汽车的可用性。在数据中心里,数据的存储密度则将成为未来的核心挑战,决定着我们智能社会的成色。

科学家们已经明确了下一步的发展目标:在有限的资源下实现100x性能密度和100x容量密度的数据存储。要实现存储能力的提升,压缩算法是核心技术之一,可以降低数据的存储成本,帮助用户缓解数据规模爆炸性增长带来的成本压力。

然而,作为存储技术中的重磅难题,压缩算法多年来未有突出成果。

为了突破压缩算法面临的瓶颈,激发数据压缩领域的活力,自2020年起,华为与莫斯科国立大学合作,举办全球数据压缩大赛,以促进数据压缩根技术的研究。

今年的第二届全球数据压缩大赛,邀请了压缩领域享有盛誉的技术专家担任评委;使用电子显微镜、遥感等高性能计算数据,更贴近前沿、更贴近实际场景。大赛设计了五种类型的数据集(赛事项目):定量数据压缩、定性数据压缩、混合数据压缩、小块数据压缩和熵编码优化。

同时,大赛还增设了面向高校学生、难度相对较小的编码算法优化项目,以吸引更多校园算法高手参与比赛。在奖项设置方面,进一步体现多维激励,增设领先奖、特等奖和学生参与奖。

本届数据压缩大赛,已于6月15日正式开赛,接收参赛作品截止到11月底,将于12月底公布获奖结果。截至7月中旬,开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请。

 

出色的开始,更高的期待

伴随着奥林帕斯大奖和全球数据压缩大赛相继进入第二届,“奥林帕斯”已经成为华为数据存储正在着力打造的新品牌,专门用来加强产学研合作,联合学界一起推动数据存储产业的进步。

从第一届奥林帕斯大奖得主那里,我们已经看到科研界在数据技术创新领域的突破。

获得百万悬红大奖的清华大学舒继武老师团队的“持久性内存存储系统构建与关键技术”,创新地提出了持久性内存文件系统与键值存储的设计方法和分布式持久性共享内存框架,攻克了其数据结构、内存管理、一致性与安全等方面的一系列难题,解决了基于新型内存介质的高效数据存储问题。

此外,上海交通大学的陈榕团队的“基于新型异构硬件的高效数据处理系统”,华中科技大学的冯丹团队的“NVM(新型非易失存储)高效可靠技术”,也具有较高的创新性和先进性,具备产业价值和应用前景。

同样,在第一届全球数据压缩大赛上,也涌现出了很多令人瞩目的成果。

比如获奖选手Peter Thamm设计的pglz算法在压缩率和性能上,打破了快速压缩算法的一般认知,指引了压缩算法优化方向;Konstantinos Agiannis的参赛算法,在文本场景测试中的压缩率和压缩性能,均超过业界公认的标杆算法;Andreas Debski的快速图像压缩算法,达到了业界公认标杆算法120%的压缩率,展现了深厚的图像压缩算法功底。

尤为难得是来自全球各地的压缩算法高手的积极参与。正如业界大咖Ilya Muravyov所说,这一比赛激发了人们对数据压缩行业的关注,并让那些数据压缩大牛重回他们的主战场。

过去一年的成功,也让我们对今年的“奥林帕斯”有了更高的期待。对这个太阳系最高峰的攀登,意味着整个数据存储技术领域的参与者,首次能够团结一致,共同牵引基础理论研究方向,突破关键技术难题,加速科研成果产业化,实现产学研合作共赢。

在此进程中,华为一方面发挥了产业引领者的角色,大力推动产学研的合作进程;另一方面也积极投身其中,通过Data Fabric、智能存储、内存型存储、数据缩减、视频存储等五大创新实验室,通过4000多名研发工程师的协同努力,围绕下一代存储的介质、网络、架构和管理等进行系统化创新。

我们也有理由相信,通过全球、全领域的协同创新,我们一定能够迎来数据存储技术的突破,通过技术重构实现更好的数据存储效能,让全世界共享数字技术红利,进而推动千行百业的智能化升级。

于洪涛
科技智库领域优质创作者

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)