13年前,当《阿凡达》第一次以绚丽的“潘多拉星球风光”征服全世界时,人们并不知道,导演卡梅隆用4000台服务器搭建了一个庞大的线下数据中心,用35000多个CPU做整部电影的渲染,渲染时间达288万个小时。
如今,《阿凡达2》片中蔚蓝的水世界渲染时间达33亿小时,是第一部影片的1145倍。但是,从第一帧到第33亿帧,一共只用了8个月。“如果没有亚马逊云科技的支持,我们将无法完成《阿凡达2》”,该片制片人说道。
打造虚拟世界和仿真世界,是否使用云——效果显而易见。这是日前在亚马逊云科技2022 re:Invent全球大会上,亚马逊云科技大中华区产品部总经理陈晓建分享的一个应用案例。
但透过这一个高光时刻,会发现其实正是云服务涵盖底层基础架构、计算、数据库、数据分析、AI/ML、安全、行业应用等新的服务及功能,以不断创新帮助用户重塑未来的决心,才是面向海量数据的极限未来所需要的。
亚马逊云科技大中华区产品部总经理 陈晓建
陈晓建表示:“亚马逊云科技在每年的re:Invent全球大会上,都会发布许多重磅的新服务、功能和应用,来支持遍及全球各地、来自千行百业的客户进行不断的创新和重塑。面临全球经济的不确定性,各种规模的客户都希望能进一步消减成本、增强业务的灵活性并加速创新。我们希望能通过技术的不断创新,让全球包括中国的客户能凌云驭势、重塑未来。”
十年领跑,加速底层技术创新
陈晓建以南极点的一个探险故事举例说,面临极端挑战的时候,需要选择专门定制的、功能足够强大的工具和解决方案。因为极端的挑战意味着对性能的极致要求,意味着在充满不确定性的时代快速敏捷地进行现代化应用的开发,意味着每个企业都要掌握最新的科技来满足它自身业务的发展。
至于云服务底层的基石,他认为离不开三方面创新:第一,极致性能的自研芯片;第二,极速构建的云原生的应用;第三,面向极限未来的HPC的服务。
亚马逊云科技自2013年推出Amazon Nitro系统以来,已经开发了多个自研芯片,包括五代Nitro系统、致力于为各种工作负载提升性能和优化成本的三代Graviton芯片、用于加速机器学习推理的两代Inferentia芯片,以及用于加速机器学习训练的Trainium芯片。定制化的芯片设计帮助客户运行要求更高的工作负载,包括更快的处理速度、更高的内存容量、更快的存储输入/输出(I/O)和更高的网络带宽。
在本次2022 re:Invent全球大会上,亚马逊云科技再次推出了一系列底层技术更新,包括第五代虚拟化芯片Nitro5、Gravition3E以及机器学习推理芯片Inferentia2,并推出了由三款自研芯片支持的Amazon Elastic Compute Cloud(Amazon EC2)最新实例。其中,Amazon EC2 Hpc7g实例采用了Amazon Graviton3E芯片,与当前一代Amazon EC2 C6gn实例相比,浮点性能提高了2倍;与当前一代Amazon EC2 Hpc6a实例相比,性能提高了20%,为高性能计算工作负载提供了超高性价比。Amazon EC2 C7gn实例采用Amazon Nitro5,与当前一代网络优化型实例相比,为每个CPU提供了多达2倍的网络带宽,同时将每秒数据包转发性能提升50%,为网络密集型工作负载提供了超高的网络带宽、数据包转发性能和性价比。Amazon EC2 Inf2实例采用Inferentia2,是专门为运行多达1,750亿个参数的大型深度学习模型而构建的,与当前一代Amazon EC2 Inf1实例相比,可提供高达4倍的吞吐量,降低多达10倍的延迟,且成本更优,延迟更低。
亚马逊云科技还对核心的底层亚马逊云科技SRD网络协议(Scalable Reliable Datagram,可扩展的可靠数据报)进行了创新,推出了高速虚拟网卡ENA Express,提供一致的更低延迟和更高网络吞吐量。SRD协议是亚马逊云科技开发的一种网络协议,专为亚马逊云科技环境中实现一致且低延迟的网络而构建的,具备多路径传输、微秒级重传和Nitro芯片提供专用资源三大优势,能够显著降低网络延迟,提高网络吞吐量。
针对负载巨大且高度复杂的模拟应用场景,亚马逊云科技推出了Amazon SimSpace Weaver服务,帮助客户构建、操作和运行大规模的空间模拟仿真系统。客户使用该服务可模拟出100万个以上、实时交互的仿真对象,创建比以往更加复杂的环境,并且将模拟仿真系统部署的时间从数年缩短至数月。
构建云原生端到端的数据战略,应对海量数据挑战
“像星空一样广袤的数据,数据爆炸到今天已经不是一个未来的,而是现实。分析师判断未来5年所产生的数据是整个数字时代所产生数据的重量两倍还要多,如何去管理海量数据,挖掘数据的价值,对每个企业来说一方面是巨大的挑战,另一方面也蕴含无限的价值”, 陈晓建表示。
数据是企业业务决策流程的中心,是构建数字化转型的基石。随着数据规模和增长的不断加速,企业需要一整套完整的数据工具来应对海量的多样化数据;需要整合来自于不同部门、不同服务和不同应用中的所有数据,以获取更全面的数字洞察;需要通过数据治理保障人员和应用快速访问所需数据并同时确保数据安全;还需要改善发现和分享数据的方式以提升获取洞察的效率。
陈晓建指出,数据处理非常棘手,这也是亚马逊云科技一直致力于云原生的数据战略的原因。他们希望提供的所有工具,能够帮助用户在整个数据全生命周期从存储到最后的AI,在每个环节都能帮助用户把数据利益最大化,通过提供完整全面的数据解决方案,帮助客户更安全、更高效地去挖掘数据价值。
在2022 re:Invent全球大会,亚马逊云科技发布了全新的数据管理服务Amazon DataZone,助力客户更快、更轻松地对存储在亚马逊云科技、客户本地和第三方来源的数据进行编目、发现、共享和治理,同时提供更精细的控制工具,管理和治理数据访问权限,确保数据安全。企业中的各类人员都可以通过Amazon DataZone轻松访问整个组织的数据以提升企业的数据洞察力。
针对ETL(数据的提取、转换和加载过程),亚马逊云科技在本次大会上发布了两项全新的集成功能,帮助客户实现“Zero-ETL”(零ETL)。业务数据往往需要通过ETL才能进行分析从而提供洞察,但这一过程往往耗时且枯燥。现在,客户可以使用Amazon Redshift近乎实时地分析Amazon Aurora中的数据,无需在不同服务之间进行ETL。客户还可以使用亚马逊云科技的分析和机器学习服务在Amazon Redshift的数据上轻松运行 Apache Spark应用程序。
亚马逊云科技还新推出五项数据库和分析服务全新功能,让客户能够更快、更轻松地管理和分析PB级数据。Amazon DocumentDB Elastic Clusters可将客户的文档工作负载扩展到支持每秒数百万次请求,并支持PB级数据存储;Amazon OpenSearch推出了Serverless无服务器功能,可帮助客户在无需配置、扩展或管理底层基础设施的情况下运行搜索和分析工作负载,这一更新也标志着亚马逊云科技数据分析服务的全面无服务器化;Amazon Athena for Apache Spark能让客户开始使用Apache Spark进行交互式分析的时间从数分钟缩短到一秒以内;Amazon Glue Data Quality可以跨数据湖和数据管道自动管理数据质量; Amazon Redshift现在支持跨多个亚马逊云科技可用区(AZ)的高可用配置。
此外,亚马逊云科技在本次大会上推出了机器学习服务Amazon SageMaker的八项新功能以及Amazon QuickSight的五项全新功能。其中,新的 Amazon SageMaker 治理功能可以在整个机器学习生命周期中提供对模型性能的可见性;新的 Amazon SageMaker Studio Notebook 功能提供了增强的Notebook体验,让客户只需点击几下即可检查和解决数据质量问题,促进数据科学团队之间的实时协作,通过将Notebook代码转变到自动化作业,加速机器学习实验到生产的过程;其他一些新功能可自动执行模型验证,并且让地理空间数据处理变得更容易。Amazon QuickSight 新功能可以支持业务人员直接用自然语言提问各类预测问题,并能够给出预测依据,大大降低了企业从数据中获取业务洞察的门槛。
针对安全持续创新, 帮助用户提升云中安全
安全是全球客户选择亚马逊云科技的首要原因。亚马逊云科技在本次大会上分享了安全的四大目标:快速帮助客户提升安全水平,降低安全成本,减少安全问题的处理时间和提高企业安全的效率,并围绕这四大目标推出了一系列新的服务及功能。
亚马逊云科技新推出的第五代虚拟化芯片Amazon Nitro5在给客户带来性能提升之外,也提供了更高的安全性。亚马逊云科技还推出云托管服务安全数据湖Amazon Security Lake,可以自动将客户在云端和本地的安全数据集中到客户在亚马逊云科技账户下专门构建的数据湖中,方便客户针对安全数据做出快速行动。
Amazon Security Lake通过可定制的数据备份保留设置实现数据生命周期管理。该服务可将传入的安全数据转换为高效的Apache Parquet格式;支持OCSF标准,使得它可以更轻松地对来自亚马逊云科技的安全数据实现自动标准化,并能将其与几十个预集成的第三方企业安全数据源进行结合。安全分析师和工程师可以使用Amazon Security Lake聚合、管理和优化大批量迥然不同的各类日志和事件数据,实现更快的威胁检测、调查和事件响应,高效、快速地解决潜在问题,同时继续使用他们熟悉的分析工具。
亚马逊云科技进一步丰富了Amazon GuardDuty 功能。现在,Amazon GuardDuty可为 Amazon Aurora 提供威胁检测,以识别对存储在 Aurora 数据库中的数据的潜在威胁。Amazon GuardDuty RDS Protection 可配置和监控客户账户中现有和新数据库的访问活动,并使用定制的机器学习模型来准确检测Aamon Aurora 数据库的可疑登录。Amazon GuardDuty与Amazon Aurora 集成,可以直接访问数据库事件,而不需要修改数据库,而且不影响数据库性能.
此外,亚马逊云科技新推出了Amazon KMS External Key Store (Amazon XKS),进一步提升客户数据的安全性。该功能让客户能够在亚马逊云科技之外的外部密钥管理系统中使用加密密钥、独立授权和审核来加密或解密数据。此项功能可与100多项亚马逊云服务相集成,免去了客户繁琐的集成开发工作。
“亚马逊云科技将持续在安全方面投入,我们理解安全对于用户业务的重要性,我们将通过更好的配置、更好的工具、更智能的分析以及更好的监控和警告机制,帮助用户在云中提升安全的态势”, 陈晓建表示。
推出开箱即用的行业应用 突破行业限制
针对企业的行业应用,亚马逊云科技在2022 re:Invent全球大会推出了多项新的服务。基于 Amazon.com近30年的物流网络经验,亚马逊云科技在本次大会上推出的新应用程序Amazon Supply Chain,帮助企业提高供应链的可见性,做出更快、更明智的决策,并降低风险、优化成本及改善客户体验。Amazon Supply Chain 可自动合并、分析多个供应链系统的数据,企业因此可以实时观察供应链运营的情况,更快地发现趋势,更准确的预测需求,确保充足的库存满足客户预期。Amazon Supply Chain还通过提供统一的数据湖、机器学习驱动的洞察、行动建议和应用程序内协作功能,提高客户供应链的韧性。
新推出的分析服务Amazon Clean Rooms,它可以帮助不同行业的公司轻松、安全地分析和协作处理组合数据集,无需共享或泄露原始的底层数据。借助Amazon Clean Rooms,客户可以在几分钟内创建一个安全的数据清洗空间,与亚马逊云科技之上的其它公司协作,生成与广告营销活动、投资决策、临床研究等相关的独特洞察。Amazon Clean Rooms为保护敏感数据提供了一组内建的数据访问控制,包括查询控制、查询输出限制、查询日志和加密计算工具。
针对生物医疗行业,亚马逊云科技推出了Amazon Omics。这是一项用于存储、分析和阐述基因组学、转录组学和其他组学数据的托管服务。该服务专为医疗保健和生命科学组织而设计,旨在加强患者护理并推进科学研究,它的推出将有助于靶向疾病的治疗。