加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

华为全力冲顶存储中国时刻,三把“神兵”披荆斩棘

2020/08/17
147
阅读需 15 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

毕业季和招生季里的一次次“官宣”,让华为“天才少年”彻底出圈,也展现出了华为“凶猛”的技术人才进击态势。

大家在关注百万年薪的同时,可别忘记与顶级薪酬相匹配的顶级挑战。拿到高档 offer 的“天才少年少女”,都选择加入的华为存储相关领域,是十分值得关注的领域。

存储究竟有多重要?随着各行各业智能化的深入,数据基础设施自然也需要跟上节奏。越来越多的企业需要高效的数据存储与管理系统,来实现海量的数据管理与保护,为业务发展与经济增长提供保障。

而 2019 年,华为曾以“奥林帕斯奖”为名,鼓励科研人员积极创新,解决数据基础设施领域的技术难题。而火星的奥林帕斯山,是太阳系已知最高的火山,是珠穆朗玛峰的三倍,以此来类比,难度可想而知。

攀爬“太阳系之最”的技术高峰,自然需要专业且顶级的精英人才。所以,我们不妨暂时放下金光闪闪的高薪标签,来看看这些攀登者们是如何征服存储这座“奥林帕斯山”的。

远眺,万物智能的数据风景

拒绝腾讯、阿里和美国存储巨头西部数据的邀请,在四份 offer 中直奔华为的“天才少女”,选择与自己在校研究方向——新型存储介质(NVM,SMR)、数据库和键值存储系统——相契合的华为存储相关工作。

而天才少年也在接受采访中表示,最终选择加入华为,是希望能够和一群志同道合的人做有意义的事,怀抱理想让世界刮目相看。

存储如同圣杯,正在成为今天和未来的数据狂潮中全社会新的避难所,也吸引了众多年轻的有志之士为之奋斗。

目前看来,我们正在经历数据三变:

量级变大:数字化、智能化产业趋势的兴起,IoT 设备逐渐变得无处不在,5G 即将产生的超级联接,都让传统的 IT 基础设施面临着数据浪潮冲击;

价值变大:数据的存储与融通,已经从互联网产业的刚需,变成了各个行业未来业务增长的生产资料,5G+AI+云时代的新一代存储商业空间已经清晰;

产业之变:数据存储从底层承载平台,开始向数据流动、分析、利用的计算产业环节延伸,对硬件创新和软件迭代提出了全新挑战。

人类的智能时代已经笃定,新一代存储就成了必须翻越的山脉。

规划,向山顶迈进

在新一代存储设施的宏大挑战中,NVMe 成了所有攀登者必须抵达的一座山峰。

2010 年,NVMe(Non-Volatile Memory Express 非易失性内存标准)标准接口协议诞生,就注定了会让挑战者高山仰止:

传统存储中连接固态闪存 SSD 的最典型方式 SAS,吞吐量有限,随着存储介质性能百倍级以上的提升,已经成为限制硬件性能释放的天花板。

而 NVMe 则革命性地用简洁、直接的轻量级技术能力,释放了新的产业机会。

NVMe 协议替代了原有的 AHCI 规范,并且软件层面的处理命令进行了重新定义,得以规范固态硬盘访问接口,去掉了 SAS 系统中的 IO Scheduler 和 SCSI 等复杂的协议层,利用多核处理器,降低协议交互时延。

与单队列 SAS 协议相比,NVMe 协议可支持多达 64K 个队列,实现更高的并发处理。此外,通过 PCIe 直连,让 CPU 和 NVMe SSD 直接通信,比传统 SAS 架构更精简。有数据显示,如果采用 SAS 后端的 SCSI 协议,一次完整的主机数据写入请求需要通过 4 次协议交互,而华为 NVMe 全闪存只需要 2 次协议交互,处理写请求的效率比 SAS 全闪存高 1 倍,显著提高了固态硬盘的读写性能。

用一个类比来说,就是将原本草木丛生、人车畜共行的林间小道铲平了,修建一个更宽、更平坦的高速公路,数据自然能在上面快速流畅地通行。

根据 Gartner 预测,2022 年 NVMe SSD 在存储中占比将达到 52%。

听起来,似乎只要将这个新协议用起来就好了,有什么难的?攀登者在前往大本营之前,都会提前进行线路规划、了解即将面对的地形和可能的风险,而对于 NVMe 技术的落地,其存在的挑战就在于,想要一路给 SSD“开绿灯”,并不容易。

首先,新技术从实验室落地市场,需要达到规模化应用的高能效比。NVMe SSD 全闪存阵列在合理成本上发挥出它的性能极限,从单纯的注重性能发展到真实降低单位比特成本,才能吸引客户买单;

其次,需要完整的产业链支持,比如当时的全闪存阵列控制器架构都是为了适应机械硬盘而设计的,NVMe 面临着软硬件适配、运维管理的重重阻碍。

另外,只有 NVMe 产品能够在企业业务中可以释放出真正的商业价值,特别是在分秒必争的企业场景,这就需要产品力的加持。

这些,都推动着攀登者们全面理解、步步为营、持续发力。

攀登,华为存储的三把“神兵”

在存储领域,传统的技术话语权柄一直被美国、日本等大国巨头厂商所把持。但变局在 NVMe 上发生了。

2018 年,华为在中国存储与数据峰会上,发布了华为 OceanStor 存储 Dorado 系列,率先实现了全系列支持 NVMe 架构。

在达到这一成绩之前,华为也早已拿下了不少小的技术“据点”,比如发布了业内唯一端到端 NVMe SSD 盘、NVMe 闪存控制器和 NVMe 全闪存操作系统等等。

智能存储的产业阶段,华为 NVMe 全闪存阵列,锤炼出了三把披荆斩棘、无往不利的“神兵利器”:

  • 全面覆盖,化繁为简,指数级性能增长

华为更进一步,从网络、服务器、存储全部采用 NVMe Over RoCE 全 IP 组网设计,使用 TCP/IP 和 RoCE 来部署 NVMe 闪存存储平台,让以往需要在多种协议(FC/IP/IB/PCIe/SAS)中复杂交互的局面,用 NVMe 一种协议完成了整个网的管理。

这样从前端网络连接、后端硬盘框连接、scale-out 的控制器互联均采用同一种网络协议,其优势也显而易见:极大降低了存储时延,极致时延可达 0.1ms;避免复杂的网络协议和规划,简化了数据中心和企业网络的部署和维护成本。

  • 全面创新,端到端整体护航高可靠性

作为业界率先实现全系列端到端 NVMe 全闪存的厂商,华为自然也抢先交付出了一整套的产业价值。

以新一代 OceanStor 分布式存储、OceanStor 全闪存、FusionData 智能数据湖解决方案等为例,就基于智能无损网络和硬件,实现了数据在“采、存、算、管、用”整个生命周期的端到端整合和优化,将新一代存储技术更全面地融入数据基础设施。

为此,华为应用了一系列创新技术。

比如针对商用 NVMeSSD 盘必须快速在线更换的需求,避免暴力热插拔(PCIe surprise hot plug)可能导致的系统异常、业务中断,华为打造了智能无损网络和 OceanStor 全闪存联合 NOF+增强方案,采用前端共享大卡在系统内实现故障自动巡检、即时感知、主动修复,链路故障感知时间只有 1 秒,端到端时延仅为 75μs。与之相比,业内通用的 NOF 故障感知时间长达 15 秒,后者显然对于极大提升系统可靠性,保障端到端的稳定时延,起到了关键作用。

再比如,存储单点的可靠性往往需要采用双控冗余技术保障,但大部分厂商会放弃技术上较难的原生双 PCIe 端口,而选择另辟捷径,导致系统可靠性的降低。

而华为的解决方法是十年磨一剑,攻破了双端口技术,两个 PCIe 3.0X2 端口独立,互相不影响,为系统修复和异常处理提供了硬件基础,保证了系统双控冗余性,提升系统的可靠性。

为了解决硬盘重构时间增长,传统 RAID 技术无法保障系统可靠性,容易导致盘故障、数据丢失的问题,华为采用创新的 RAID-TP 软件技术,基于 Erasure Code 算法,将校验位做到支持 1、2、3 位可调,容忍同一个 RAID 组内 1-3 块盘同时失效,在 3 块盘同时失效的情况下能够容忍数据不丢失,业务不中断。这是目前美国戴尔、IBM 等厂商都做不到的。

 

(华为支持 NVMe Over Fabric 的端到端方案)

  • 软硬件结合,从工作流程、工具链、产品化的全面升级

要让数据在整个生命周期内都能满足时代诉求,面对的挑战还有很多。所以除了仅在硬件产品优化上做文章之外,华为也从底层出发,从工作流程、工具链到产品进行了全方位使能。

举个例子,华为率先在 NVMe 全闪存领域实现免网关双活方案,基于闪存的硬件和软件优化,双活时延达到 1 毫秒,性能业界最高,保障业务 7*24 高可用,并支持从双活方案平滑升级到 3DC 方案。

华为 OceanStor 存储 Dorado 系列还开发一系列自动化部署工具,把运维工程师从复杂繁琐的网络部署工具中解放出来,全面提升从网络规划到实施的易用性。加上人工智能技术智能预测故障、定位问题、实时健康度分析、分析性能和容量趋势等等应用,大大降低存储系统运行风险和运维成本,将存储管理效率提升 5 倍以上。

通过这一系列组合拳,华为正在将 NVMe 技术不断融入到存储阵列之中,在数字化升级的时代浪潮中,让各行业都能直观地感受前沿技术带来的体验质变。

冲顶,全球存储,中国时刻

不出意外,华为的技术攀登者们成功在一个个大本营胜利会师、安营扎寨。

在技术分析机构 DCIG 的《DCIG 2020 年 -2021 年全闪存阵列购买指南》中,华为 OceanStor 存储 Dorado 系列占据 C 位,位列最佳推荐榜首,超越其他所有竞争对手。

全球权威机构 Gartner 公布的最新数据显示,2019 年华为存储全球增速第一,成为市场中后劲最足的厂商。

在 2020 年第一季度全球存储供应商普遍出现营收下滑的背景下,华为存储逆势保持 24.7%的高速增长,其中华为全闪存增长率高达 45.1%,远高于市场平均增长率和其他竞争对手。

从 2002 年起步至今,华为存储从零创业,到如今拿下 NVMe 的技术高地,加速向全球市场冲锋,后劲都来自哪些要素?或许可以将其总结为华为存储的“四大能量”:

1. 技术信念。华为在存储和硬盘领域钻研多年,是目前业界唯一自研存储控制器、SSD 盘和存储芯片的厂商,充分了解数据存储的全流程,将这些经验应用在 NVMe 系统中,增长迭变速度越来越快;

2. 创新意识。不断将新的技术、理念、工具融入到存储领域当中,全栈采用 NVMe、芯片级端到端加速、SCM+分级 / 缓存技术、智能 AI 算法 FlashLink 等等,每一次创新都转化为向上攀登的强劲动能;

3. 尊重市场。无论是人工智能、大数据自动驾驶、区块链等先进领域,还是在医疗、制造、金融等传统行业,华为存储对各行业的数据困境都十分尊重,全系列 NVMe 的产品阵列,降低了用户使用领先存储技术的门槛,提供了更灵活、经济的选择,帮助更多企业快速推进数字化转型

4. 重视人才。华为在优秀人才的吸纳上从来都不遗余力,在科研上的投入甚至超过了当年的净利润。而从任正非的只言片语中我们知道,华为至少有 700 多名数学家,800 多名物理学家,120 多名化学家,六七千名的基础研究专家,6 万多名各级高级工程师。华为华为 18 万员工中,有将近 45%的人在从事基础研究工作。

从这个角度看,华为存储在全球市场的冲锋,看似是一场短跑冲刺,其实是一场绵延将近 20 年、砥砺前行的马拉松。

人类不断向火星发起探索,是用梦想自我定义能力上限的过程。而华为存储的一次次技术上探,其实是源于一个伟大梦想的无限延伸。

华为

华为

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。目前华为约有19.7万员工,业务遍及170多个国家和地区,服务全球30多亿人口。华为致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界:让无处不在的联接,成为人人平等的权利,成为智能世界的前提和基础;为世界提供最强算力,让云无处不在,让智能无所不及;所有的行业和组织,因强大的数字平台而变得敏捷、高效、生机勃勃;通过AI重新定义体验,让消费者在家居、出行、办公、影音娱乐、运动健康等全场景获得极致的个性化智慧体验。

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。目前华为约有19.7万员工,业务遍及170多个国家和地区,服务全球30多亿人口。华为致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界:让无处不在的联接,成为人人平等的权利,成为智能世界的前提和基础;为世界提供最强算力,让云无处不在,让智能无所不及;所有的行业和组织,因强大的数字平台而变得敏捷、高效、生机勃勃;通过AI重新定义体验,让消费者在家居、出行、办公、影音娱乐、运动健康等全场景获得极致的个性化智慧体验。收起

查看更多

相关推荐

电子产业图谱

你的困惑,来自于无路贴近未知。我们在技术、思想、传播的异界,贩来极限脑量下的TMT。