毕业季和招生季里的一次次“官宣”,让华为“天才少年”彻底出圈,也展现出了华为“凶猛”的技术人才进击态势。
大家在关注百万年薪的同时,可别忘记与顶级薪酬相匹配的顶级挑战。拿到高档 offer 的“天才少年少女”,都选择加入的华为存储相关领域,是十分值得关注的领域。
存储究竟有多重要?随着各行各业智能化的深入,数据基础设施自然也需要跟上节奏。越来越多的企业需要高效的数据存储与管理系统,来实现海量的数据管理与保护,为业务发展与经济增长提供保障。
而 2019 年,华为曾以“奥林帕斯奖”为名,鼓励科研人员积极创新,解决数据基础设施领域的技术难题。而火星的奥林帕斯山,是太阳系已知最高的火山,是珠穆朗玛峰的三倍,以此来类比,难度可想而知。
攀爬“太阳系之最”的技术高峰,自然需要专业且顶级的精英人才。所以,我们不妨暂时放下金光闪闪的高薪标签,来看看这些攀登者们是如何征服存储这座“奥林帕斯山”的。
远眺,万物智能的数据风景
拒绝腾讯、阿里和美国存储巨头西部数据的邀请,在四份 offer 中直奔华为的“天才少女”,选择与自己在校研究方向——新型存储介质(NVM,SMR)、数据库和键值存储系统——相契合的华为存储相关工作。
而天才少年也在接受采访中表示,最终选择加入华为,是希望能够和一群志同道合的人做有意义的事,怀抱理想让世界刮目相看。
存储如同圣杯,正在成为今天和未来的数据狂潮中全社会新的避难所,也吸引了众多年轻的有志之士为之奋斗。
目前看来,我们正在经历数据三变:
量级变大:数字化、智能化产业趋势的兴起,IoT 设备逐渐变得无处不在,5G 即将产生的超级联接,都让传统的 IT 基础设施面临着数据浪潮冲击;
价值变大:数据的存储与融通,已经从互联网产业的刚需,变成了各个行业未来业务增长的生产资料,5G+AI+云时代的新一代存储商业空间已经清晰;
产业之变:数据存储从底层承载平台,开始向数据流动、分析、利用的计算产业环节延伸,对硬件创新和软件迭代提出了全新挑战。
人类的智能时代已经笃定,新一代存储就成了必须翻越的山脉。
规划,向山顶迈进
在新一代存储设施的宏大挑战中,NVMe 成了所有攀登者必须抵达的一座山峰。
2010 年,NVMe(Non-Volatile Memory Express 非易失性内存标准)标准接口协议诞生,就注定了会让挑战者高山仰止:
传统存储中连接固态闪存 SSD 的最典型方式 SAS,吞吐量有限,随着存储介质性能百倍级以上的提升,已经成为限制硬件性能释放的天花板。
而 NVMe 则革命性地用简洁、直接的轻量级技术能力,释放了新的产业机会。
NVMe 协议替代了原有的 AHCI 规范,并且软件层面的处理命令进行了重新定义,得以规范固态硬盘访问接口,去掉了 SAS 系统中的 IO Scheduler 和 SCSI 等复杂的协议层,利用多核处理器,降低协议交互时延。
与单队列 SAS 协议相比,NVMe 协议可支持多达 64K 个队列,实现更高的并发处理。此外,通过 PCIe 直连,让 CPU 和 NVMe SSD 直接通信,比传统 SAS 架构更精简。有数据显示,如果采用 SAS 后端的 SCSI 协议,一次完整的主机数据写入请求需要通过 4 次协议交互,而华为 NVMe 全闪存只需要 2 次协议交互,处理写请求的效率比 SAS 全闪存高 1 倍,显著提高了固态硬盘的读写性能。
用一个类比来说,就是将原本草木丛生、人车畜共行的林间小道铲平了,修建一个更宽、更平坦的高速公路,数据自然能在上面快速流畅地通行。
根据 Gartner 预测,2022 年 NVMe SSD 在存储中占比将达到 52%。
听起来,似乎只要将这个新协议用起来就好了,有什么难的?攀登者在前往大本营之前,都会提前进行线路规划、了解即将面对的地形和可能的风险,而对于 NVMe 技术的落地,其存在的挑战就在于,想要一路给 SSD“开绿灯”,并不容易。
首先,新技术从实验室落地市场,需要达到规模化应用的高能效比。NVMe SSD 全闪存阵列在合理成本上发挥出它的性能极限,从单纯的注重性能发展到真实降低单位比特成本,才能吸引客户买单;
其次,需要完整的产业链支持,比如当时的全闪存阵列控制器架构都是为了适应机械硬盘而设计的,NVMe 面临着软硬件适配、运维管理的重重阻碍。
另外,只有 NVMe 产品能够在企业业务中可以释放出真正的商业价值,特别是在分秒必争的企业场景,这就需要产品力的加持。
这些,都推动着攀登者们全面理解、步步为营、持续发力。
攀登,华为存储的三把“神兵”
在存储领域,传统的技术话语权柄一直被美国、日本等大国巨头厂商所把持。但变局在 NVMe 上发生了。
2018 年,华为在中国存储与数据峰会上,发布了华为 OceanStor 存储 Dorado 系列,率先实现了全系列支持 NVMe 架构。
在达到这一成绩之前,华为也早已拿下了不少小的技术“据点”,比如发布了业内唯一端到端 NVMe SSD 盘、NVMe 闪存控制器和 NVMe 全闪存操作系统等等。
智能存储的产业阶段,华为 NVMe 全闪存阵列,锤炼出了三把披荆斩棘、无往不利的“神兵利器”:
- 全面覆盖,化繁为简,指数级性能增长
华为更进一步,从网络、服务器、存储全部采用 NVMe Over RoCE 全 IP 组网设计,使用 TCP/IP 和 RoCE 来部署 NVMe 闪存存储平台,让以往需要在多种协议(FC/IP/IB/PCIe/SAS)中复杂交互的局面,用 NVMe 一种协议完成了整个网的管理。
这样从前端网络连接、后端硬盘框连接、scale-out 的控制器互联均采用同一种网络协议,其优势也显而易见:极大降低了存储时延,极致时延可达 0.1ms;避免复杂的网络协议和规划,简化了数据中心和企业网络的部署和维护成本。
- 全面创新,端到端整体护航高可靠性
作为业界率先实现全系列端到端 NVMe 全闪存的厂商,华为自然也抢先交付出了一整套的产业价值。
以新一代 OceanStor 分布式存储、OceanStor 全闪存、FusionData 智能数据湖解决方案等为例,就基于智能无损网络和硬件,实现了数据在“采、存、算、管、用”整个生命周期的端到端整合和优化,将新一代存储技术更全面地融入数据基础设施。
为此,华为应用了一系列创新技术。
比如针对商用 NVMeSSD 盘必须快速在线更换的需求,避免暴力热插拔(PCIe surprise hot plug)可能导致的系统异常、业务中断,华为打造了智能无损网络和 OceanStor 全闪存联合 NOF+增强方案,采用前端共享大卡在系统内实现故障自动巡检、即时感知、主动修复,链路故障感知时间只有 1 秒,端到端时延仅为 75μs。与之相比,业内通用的 NOF 故障感知时间长达 15 秒,后者显然对于极大提升系统可靠性,保障端到端的稳定时延,起到了关键作用。
再比如,存储单点的可靠性往往需要采用双控冗余技术保障,但大部分厂商会放弃技术上较难的原生双 PCIe 端口,而选择另辟捷径,导致系统可靠性的降低。
而华为的解决方法是十年磨一剑,攻破了双端口技术,两个 PCIe 3.0X2 端口独立,互相不影响,为系统修复和异常处理提供了硬件基础,保证了系统双控冗余性,提升系统的可靠性。
为了解决硬盘重构时间增长,传统 RAID 技术无法保障系统可靠性,容易导致盘故障、数据丢失的问题,华为采用创新的 RAID-TP 软件技术,基于 Erasure Code 算法,将校验位做到支持 1、2、3 位可调,容忍同一个 RAID 组内 1-3 块盘同时失效,在 3 块盘同时失效的情况下能够容忍数据不丢失,业务不中断。这是目前美国戴尔、IBM 等厂商都做不到的。
(华为支持 NVMe Over Fabric 的端到端方案)
- 软硬件结合,从工作流程、工具链、产品化的全面升级
要让数据在整个生命周期内都能满足时代诉求,面对的挑战还有很多。所以除了仅在硬件产品优化上做文章之外,华为也从底层出发,从工作流程、工具链到产品进行了全方位使能。
举个例子,华为率先在 NVMe 全闪存领域实现免网关双活方案,基于闪存的硬件和软件优化,双活时延达到 1 毫秒,性能业界最高,保障业务 7*24 高可用,并支持从双活方案平滑升级到 3DC 方案。
华为 OceanStor 存储 Dorado 系列还开发一系列自动化部署工具,把运维工程师从复杂繁琐的网络部署工具中解放出来,全面提升从网络规划到实施的易用性。加上人工智能技术智能预测故障、定位问题、实时健康度分析、分析性能和容量趋势等等应用,大大降低存储系统运行风险和运维成本,将存储管理效率提升 5 倍以上。
通过这一系列组合拳,华为正在将 NVMe 技术不断融入到存储阵列之中,在数字化升级的时代浪潮中,让各行业都能直观地感受前沿技术带来的体验质变。
冲顶,全球存储,中国时刻
不出意外,华为的技术攀登者们成功在一个个大本营胜利会师、安营扎寨。
在技术分析机构 DCIG 的《DCIG 2020 年 -2021 年全闪存阵列购买指南》中,华为 OceanStor 存储 Dorado 系列占据 C 位,位列最佳推荐榜首,超越其他所有竞争对手。
全球权威机构 Gartner 公布的最新数据显示,2019 年华为存储全球增速第一,成为市场中后劲最足的厂商。
在 2020 年第一季度全球存储供应商普遍出现营收下滑的背景下,华为存储逆势保持 24.7%的高速增长,其中华为全闪存增长率高达 45.1%,远高于市场平均增长率和其他竞争对手。
从 2002 年起步至今,华为存储从零创业,到如今拿下 NVMe 的技术高地,加速向全球市场冲锋,后劲都来自哪些要素?或许可以将其总结为华为存储的“四大能量”:
1. 技术信念。华为在存储和硬盘领域钻研多年,是目前业界唯一自研存储控制器、SSD 盘和存储芯片的厂商,充分了解数据存储的全流程,将这些经验应用在 NVMe 系统中,增长迭变速度越来越快;
2. 创新意识。不断将新的技术、理念、工具融入到存储领域当中,全栈采用 NVMe、芯片级端到端加速、SCM+分级 / 缓存技术、智能 AI 算法 FlashLink 等等,每一次创新都转化为向上攀登的强劲动能;
3. 尊重市场。无论是人工智能、大数据、自动驾驶、区块链等先进领域,还是在医疗、制造、金融等传统行业,华为存储对各行业的数据困境都十分尊重,全系列 NVMe 的产品阵列,降低了用户使用领先存储技术的门槛,提供了更灵活、经济的选择,帮助更多企业快速推进数字化转型。
4. 重视人才。华为在优秀人才的吸纳上从来都不遗余力,在科研上的投入甚至超过了当年的净利润。而从任正非的只言片语中我们知道,华为至少有 700 多名数学家,800 多名物理学家,120 多名化学家,六七千名的基础研究专家,6 万多名各级高级工程师。华为华为 18 万员工中,有将近 45%的人在从事基础研究工作。
从这个角度看,华为存储在全球市场的冲锋,看似是一场短跑冲刺,其实是一场绵延将近 20 年、砥砺前行的马拉松。
人类不断向火星发起探索,是用梦想自我定义能力上限的过程。而华为存储的一次次技术上探,其实是源于一个伟大梦想的无限延伸。