当前数字时代,我国各行业数据存储需求日益增长,国家政策要求构建以数据为关键要素的数字经济。这些都对数据存储技术的介质、架构、协议、应用等方面提出更高要求。
而在数据存储领域,我们发现目前业界热议明星是NVMe全闪存技术的应用与普及。NVMe是计算机与存储设备连接的接口和协议,可以释放SSD(Solid State Disk)闪存强大的性能。相比传统SAS这个类似“翻越崇山峻岭缓慢前行的单辆货车”协议,NVMe是行驶在康庄大道一骑绝尘的“超跑”车队。
如今,业界更是发展了NVMe over Fabric,进一步解决存储系统协议瓶颈,实现高性能、低延迟的远程存储数据访问。
而华为这家深耕存储17年的资深玩家,成为NVMe全闪存技术引领者和普及者:在业内实现唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,实现高中低端产品都支持NVMe全闪存。
看到这,你一定疑惑,数据存储产业发展日新月异,为何NVMe全闪存成明星?华为NVMe全闪存有何厉害之处?有哪些应用案例实践?
01、我国数据存储潜力巨大,呈现四大主要特征
随着千行百业数字化转型进程不断加速,数据作为一种新的生产要素,已经成为与土地、人口、能源并列的重要战略资源,并与数字经济紧密连接。
人们对企业数据存储,知之甚少。其实,除了大家接触的电脑、手机等需要更高、更可靠的存储,金融、教育、科研、电信等领域应用对数据存储提出的要求更高。
根据IDC报告显示,我国整体数据量到2025年将达到48.6ZB,占全球数据圈规模的27.8%。我国十分重视数据存储发展,提出要“构建以数据为关键要素的数字经济”。在我国“十四五”规划中,“数据要素”一词出现4次。
目前,我国存储产业规模日渐庞大。根据Gartner发布数据显示,我国存储产业规模在2020年上游芯片与介质超过1400亿元,中游存储整机和下游服务超过3400亿元。到2025年,我国存储产业直接投资总额将超过万亿级规模。
可见,数据存储作为数据的可靠底座,其重要性不容忽视,并随着新时代到来呈现出四大特征。
第一,从市场空间看,相比发达国家而言,我国当前数据存储和计算方面的投资比例相差较大,数据存储在我国具有巨大的商业空间。
罗兰贝格合伙人、信息技术与高科技行业负责人李冰近日表示,根据其对多国存储产业大量调研表明:我国起步晚,存力充足性和绿色性存在不足,但态度更加积极,通过高增长、领先技术投入等,在效率等某一具体指标上拥有优势,有望实现弯道超车。
第二,从业务需求看,多元的数据形态、庞大的数据量、复杂的业务模型,对计算和数据存储提出了更高的要求。据相关机构预测,图像、视频等非结构化数据大量产生,数据实时性占比预计2024年将达到整体数据量的1/4,2025年全球产生数据将超过160个ZB。
第三,从技术需求看,新型存储介质、存储引擎、存储协议等技术快速发展,但目前产品化速度仍然落后于技术迭代速度。因此,提升数据存储的“最后一公里”,即实际应用部署规模,变得迫在眉睫。
第四,随着数据产量飞速增长,数据安全问题随之激增,成为转型过程中影响国家安全的关键因素。数据不仅要“存得好”,更要“存得安全”。业界要将存储要作为数据安全的重要防线来建设,警惕出现“卡脖子”。
02、从SAS升级到NVMe协议:充分释放闪存力量
谈及数据中心,我们在过去十年经历了服务器处理器从单核到多核,从x86到GPU异构计算,处理能力提升百倍以上。存储介质从HDD(机械盘)全面转向SSD闪存盘,性能也有百倍提升。
世间万物的快速发展,总伴随着局部瓶颈的到来,比如在服务器到交换机、存储之间的网络协议,就成为数据中心的性能瓶颈。
闪存SSD最初为了快速融入数据中心的生态系统,将传统的SAS(Serial Attached SCSI,串行连接SCSI接口)协议继承下来。SAS协议作为机械硬盘时代的产物,其系统架构之复杂、协议解析之多、队列并发能力之有限,大大阻碍了SSD性能发挥。
为了让SSD性能得到充分释放,NVMe协议应运而生。NVMe英文全称是Non-Volatile Memory express,中文全称是非易失性内存主机控制器接口规范,看着是不是有点太专业?其实它是一种高性能、NUMA(非统一内存访问)优化的、高度可扩展的存储协议,用于连接主机和内存子系统。
NVMe非常了不起,具备四大绝招:
其一,低延时,NVMe协议通过PCIe(Peripheral Component Lnterconnect express,高速串行计算机扩展总线标准)通道跟CPU直连,数据不需要像SAS通过控制器中转到CPU;
其二,IOPS大增,NVMe可以把最大队列深度从32提升到64000,SSD的IOPS能力也得到提升;
其三,功耗更低,NVMe加入自动功耗状态切换和动态能耗管理功能;
其四,兼容性高,NVMe的SSD可以匹配不同平台、系统,无需厂家提供相应驱动就能正常工作。
为了方便大家理解NVMe协议与SAS协议两者之间的变化,笔者整理了如下表格。
简单来说,NVMe本质是建立了多个计算机与存储设备的通路。NVMe在单个消息队列中支持64000个命令,最多支持65535个I/O(Input/Output,输入/输出)队列。相比之下,SAS通常在单个队列中最多支持256个命令,最多支持1个I/O队列。
举例来说,如果你把SAS想象成一条羊肠小道,它最多可以通过256辆车。而NVMe则是一条拥有65535条车道的康庄大道,每条车道能通过64000辆车。
天下武功,唯快不破。不得不说,在NVMe的加持下,SSD一秒走上了性能巅峰。
NVMe正成为越来越多企业的选择。据IDC分析,服务于超大规模云客户、OEM厂商和终端用户的IT组织,将继续迁出传统SAS接口。2020年,NVMe占据企业级PCIe SSD总出货量约一半,并在2018-2023年间以38%的复合年增长率持续增长。同时Gartner预测,2022年NVMe SSD在存储中占比将达到52%。
记得2009年,NVMe工作组成立之后,经过产业界共同努力,NVMe生态日趋成熟,覆盖NVMe芯片组、NVMe SSD产品、NVMe协议等多方面,端到端的NVMe解决方案也逐渐成为数字化转型应用创新首选。
03、推动创新与应用:华为成NVMe发展功臣
笔者注意到,为了提升数据中心网络存储性能,华为存储近年来一直致力于NVMe全闪存方案创新和普及,不仅是业内唯一端到端开发了NVMe系列产品的厂家,更是高端、中低端产品都支持NVMe全闪存。
在技术创新方面,华为打造了NVMe over Fabric(NoF),可以实现NVMe标准在多种网络上的扩展,达到降低存储网络协议栈处理开销并提供高并发低延时应用,适应SSD介质驱动的存储架构演进。
在端到端NVMe产品方面,华为在端到端的NVMe高速通道上,采用自研ASIC接口模块,自研ASIC SSD盘/框设计,从协议解析、IO转发、业务优先、硬件加速等方面对NVMe进行全面支持,为数据传输提供高速通道。
通过优化的NVMe设计,华为OceanStor Dorado全闪存解决方案带来不少提升。一方面,NVMe协议相比SCSI协议可减少40%主机网络协议栈开销,节约主机CPU消耗,同等性能情况下支持更多主机应用。
另一方面,通过NVMe协议,CPU和SSD盘可直接通信,缩短传输路径,协议并发数提升到64K,协议交互次数从4次减少为2次,读写请求处理效率提升1倍以上。我们再来看看华为实验室的实测数据,在8KB IO和100%读场景下,华为OceanStor Dorado的端到端时延从562us降低到50us,缩短10倍。
其实,华为不仅致力于数据存储的技术创新,更在解决数据存储的“最后一公里”上,即将创新成果在市场上产生价值方面,也下了不少功夫。
据笔者了解,华为存储目前已经拥有金融、政府、制造、能源等行业在内的上千个NVMe全闪存成功案例。
华夏银行在推动端到端NVMe方案测试实施过程中,选择了华为NoF+(全无损以太存储网络解决方案)增强方案。NoF+增强方案包含最新一代华为OceanStor Dorado全闪存存储系统和Cloud Engine数据中心存储网络交换机两大核心部件,可实现存储场景端到端数据加速,也可攻克传统以太网丢包等难题,为金融科技创新注入新动能。
中国银行完成了华为RoCE网络方案的先行部署,并完成了华为OceanStor Dorado系列全闪存在NoF环境下的技术测试,并成功商用。
浙江移动联合华为,结合基于NVMe协议的高性能存储网络方案与华为Ocean Stor全闪存存储,实现了基于NVMe over RoCE和全闪存的全新数据存储组网方式,释放闪存澎湃动力,实现超高性能、超低时延、极简运维,很好应对新业务带来的海量通话计费需求和电子商城等移动应用业务暴增压力。
这样的案例还有很多。如今看,华为提出数据中心Flash Only Pro概念,成为全闪存从SAS向NVMe升级的中坚力量。
而且,华为推出不少活动加速NVMe全闪存部署,比如到2022年10月31日前,对新建SAS全闪存需求的客户,提供免费升级为NVMe全闪存的服务,让客户闪存投资不变,但速度翻倍。
04 厚积薄发:华为17年耕耘凸显领先实力
你可能好奇,当下存储领域玩家众多,尤其是国外存储厂商起步早、实力强,华为如何能在NVMe等数据存储领域,取得技术和市场领先?
回顾历史可以发现,华为存储所依靠的依然是华为的基因——围绕客户需求,持续投资创新,厚积薄发,实现广泛认可。
首先,在技术产品创新方面,早在2005年,华为就开始研究闪存技术;2008年,首款SATA SSD盘发布;2011年,第一代全闪存存储Dorado 2100、Dorado 5100面世,并搭载自主开发6Gbit/s SAS SSD盘。
2014年,OceanStor V3系列混合闪存存储正式发布;2015年,高端融合存储OceanStor 18000 V3正式发布;2017年,支持NVMe技术的全闪存存储OceanStor Dorado 5000 V3正式发布并荣获东京Interop展金奖;2018年,第三方权威咨询报告显示,华为全闪存存储市场收入增速位列全球第一。
华为不仅拥有自研SSD、自研控制器芯片和自研闪存存储操作系统技术,还是目前存储行业内拥有SSD盘片级专利最多的厂家之一。
通过10多年的持续投入,华为数据存储有强大的研发团队和专家资源。截至目前,华为存储领域的研发工程师高达4000人,在全球有12个存储研发中心,拥有超过3000项存储专利,主导和参与30+国际产业组织,数据存储场景化解决方案团队有300多人支持联合方案设计、验证、调优等工作。
其次,华为存储赢得分析机构和第三方媒体高度认可。比如在Gartner发布的《2022年分布式文件与对象存储Peer Insights客户声音》年度报告中,华为OceanStor分布式存储获得2022年分布式文件与对象存储“客户之选”荣誉称号,并在本年度Peer Insights平台获得4.9分综合评分(满分5分),在全球所有厂商中排名第一,且是唯一入选的中国厂商。
再比如在DCIG发布的《DCIG 2020年-2021年全闪存阵列购买指南》中,华为OceanStor全闪存位列最佳推荐榜首。而在《人民邮电报》公布2020年度“ICT创新奖”获奖评选中,华为基于端到端NVMe over RoCE创新解决方案荣获“数据中心领先奖”。
再次,众多客户的选择也是对华为存储实力的印证。截至目前,华为数据存储已经服务全球超过18000家客户,为金融数据交换平台、运营商话单等场景提供高性能、高可靠的全闪存数据存储,为基因测序、能源勘探、自动驾驶等行业提供混合负载一站式处理能力,提升海量大数据的分析效率,帮助客户打造面向多样化应用的可靠数据底座。
最后,华为十分重视中国等合作伙伴,坚持共创数据存储未来。比如为了让华为存储的合作伙伴更容易获取拓展存储市场所需的各种资料装备,更高效交付与维护华为存储产品,华为近日推出了“华为存储在线”。据悉,“华为存储在线”集成产品方案、售前设计、交付维护、培训赋能四大能力,实现存储营、销、服资源一站式整合,使得拓展及交付维护相关资源更容易获取。
笔者观察:
数智时代,唯快智胜
“数字基础设施是数字经济时代的高速公路,数据存储是数字基础设施的关键一环。”华为公司副总裁、数据存储与机器视觉产品线总裁周跃峰此前说的这句话,给笔者留下深刻印象。
他还表示,以数据存力为支撑,只有数据“存得好”、算力“算得快”、网络“传得稳”,数字基础设施的质量才能不断夯实,才能更好地促进经济社会高质量发展。
NVMe SSD盘作为数据时代的新产物,具备低延时、高性能等多方面独特优势,在数据存储性能瓶颈突破上,给业界带来希望的曙光。
华为作为数据存储领域的中坚力量,结合NVMe SSD特点,在自身产品上不断优化,不仅有助于驱动数据中心存储革命的不断深化,也将在未来企业升级与科技发展中扮演更重要的角色。
在产业链上下游的通力合作之下,我们有理由相信,中国式的数据价值时代,将更快速向我们走来。