文章图片

根据世界经济论坛的估算 ， 2020年全世界产生了超过44ZB的数据量 ， 而在十年前全球的数据总量还只有1ZB 。
数据量的指数级增长 ， 预示着人类文明彻底进入了数字化时代 ， 数据已经成为人类存在的另一种方式 。 特别是在新基建、数字经济等宏观话题大行其道的当下 ， 数据的存储、挖掘、应用早已和经济直接挂钩 。
11月18日的国际超级计算大会SC21上 ， 正式公布了最新的全球IO500榜单 。 其中华为OceanStor Pacific存储在IO500榜单和10节点榜单中均名列第二 ， 刷新了华为覇榜IO500的新纪元 。
作为存储性能最权威的世界排行榜之一 ， IO500包括总榜单和10节点榜单两大类别 。 由于10节点榜单将基准性能测试限制为10个计算节点 ， 可以准确反应存储系统为实际程序提供的I/O性能 ， 被视为衡量超级计算机应用效率的核心指标 。
当华为OceanStor Pacific代表的企业占领IO500榜单的头部 ， 乃至将榜单前三名均收入囊中的时候 ， 对整个存储市场意味着什么？
01 高性能计算三部曲 想要理解数据存储性能的价值所在 ， 似乎有必要回顾下高性能计算（HPC）的进化历程 。 毕竟在人类从工业文明迈向信息文明的过程中 ， HPC扮演了不可或缺的角色 ， 甚至说是科技创新的典型标杆 。
以往在复盘HPC进化史的时候 ， 不少人习惯按照时间轴进行整理 ， 直观地展现算力上的爆炸性增长 。 倘若从需求驱动的思路审视HPC的发展史 ， 或许可以找到一个新的视角 ， 即应用需求深度影响了HPC的进化方向 。
最早的“超级计算机”属于政府主导的项目 ， 第一台电子计算机ENIAC的诞生为起点 ， HPC在长达几十年的时间里被应用于高能物理、流体力学等学术领域 ， 数值计算的场景决定了HPC不断提升计算能力的演变轨迹 。
随着越来越多的商业公司进入到计算产业 ， HPC的应用场景逐步向油气勘探、气象预测、芯片研发等领域倾斜 ， 模拟仿真的需求渐渐超过了数值计算 ， HPC的进化不再只是主攻算力 ， 而是存储、网络等多元化的性能 。
到了2020年前后 ， 自动驾驶、基因测序、深空探索等商业智能蓬勃向上 ， HPC的应用场景也进一步转变：需要卷积更多的历史数据参与计算分析 ， 不断提升分析的精度 ， 对数据存储的性能需求逐渐上升到了新的高度 。

文章图片

正是在这样的大背景下 ， John Bent、Julian Kunkel、Jay Lofstead在内的学者纷纷推动IO性能的测试方法、基准测试程序和规则 ， 通过模拟应用需要的不同IO模型 ， 验证数据带宽（GIB/s）和元数据(KIOP/S)两个关键维度的性能表现 ， 并在一些TOP500计算机上进行了测试 。
2017年的国际超级计算大会上 ， VI4IO组织公布了第一份IO500榜单 ， 约定每年在SC和ISC大会上各更新一次排名 。
IO500榜单的出现就像是一道江湖集结令 ， 拉开了各路英雄角逐存储性能的序幕：新兴存储硬件层出不穷 ， 新兴文件系统应运而生 ， 标准和架构也不断推陈出新 ， 数据存储进入了群雄逐鹿的年代 。
毕竟HPC领域的所有玩家都明白一个道理：现实中许多场景参与计算的数据量已经达到了PB级 ， 计算过程中需要频繁进行访存操作 ， 存储性能直接影响着计算的效率 ， 同时对数据可靠性和安全性的要求也越来越高 。 数据存储性能预料之中的成了高性能计算的聚焦点 ， 也是各大厂商的必争之地 。
02 HPDA的产业态势 为何IO500榜单有这么大的魔力？答案还要从需求的变化说起 。 就像在HPC的进化历程中 ， 一个明显的态势是从“以计算为中心”到“以数据为中心”的转变 ， 进入到了“数据密集型”的新阶段 。