2053
抵达极限的视觉体验是人们不变的追求，体验越好，视觉产业越是刚需。
从石壁作画开始，提升画面感和信息传递效率就是人们不变的追求，在现代科技趋势下，视觉产业更是在迅速地升级和扩大中。近年来，一个非常典型的应用就是手机游戏，沉浸式和高度视觉化的游戏体验迅速风靡，手机已经成为全球最大的游戏平台。
手机游戏的高速增长与普及，一方面归功于手机已成为人们日常生活的重要组成；另一方面也因为手机所提供的用户体验，足以让玩家能随时随地尽兴畅玩。
随着显示技术日趋逼近人眼可察觉的极限，随着VR、更为沉浸的3D显示、更高级的光场显示技术走向多元应用，移动视觉产业将迎来大变局。那么，从手机游戏开始的视觉颠覆，可以带给我们哪些思考？背后有哪些关键技术需要关注？哪些应用又将成为未来的主流？
手机游戏拿下半壁江山背后
根据Newzoo《2022年全球游戏市场报告》的最新更新，手机游戏在2022年首次突破1000亿美元大关，占整个游戏市场的51%。这一组数字的意义不仅在于手机游戏本身的规模扩张，更意味着，伴随手机游戏市场规模的逐年扩张，“分水岭”已经产生了。
对比PC与手机的游戏体验，处理能力更强、视觉体验更好的PC一度占据更大优势。不过，随着手机自身硬件素质的提升，这一局面发生了反转，包括手机内存容量、电池电量，特别是GPU的性能提升，使得手机游戏体验产生了质的变化。
从整个系统层面来看，对手机游戏体验非常关键的硬件产品就是GPU了。移动GPU经过多年的发展，早已不局限于把一款游戏达到流畅及格线的程度，而是致力于实现“更快更强更沉浸”的游戏场景，甚至支撑跨平台的游戏体验获得持续发展。从目前高端移动GPU的应用情况来看，将自今年年底开始逐渐在旗舰手机上量，移动视觉产业也将进一步迎来颠覆。
移动GPU“卷”出新高度
本周，MediaTek推出了天玑9200旗舰5G移动芯片，在手机游戏方面的突破值得特别关注。
据了解，天玑9200搭载了Arm的新一代Immortalis-G715，11核架构，性能较上一代提升32%，支持移动端的硬件光线追踪和可变速率渲染技术，能够释放图形性能提升游戏体验。据了解，采用天玑9200旗舰5G移动芯片的智能手机预计将于2022年底上市。
Immortalis是Arm今年6月推出的一条全新的旗舰级GPU产品线，首个产品是Immortalis-G715。在Mali GPU出货量已超过80亿颗，并成为全球出货量最高的GPU产品时，Arm推出一条全新GPU产品线的动力是什么？
根据Arm当时所做的说明，新GPU设计考虑到了游戏的未来。新的复杂和沉浸式AAA移动游戏体验将对移动设备提出越来越高的要求，Immortalis-G715旨在为未来的旗舰手机提供更好的视觉体验。
与前一代 Arm GPU 相比，这款产品性能提升了15%，节能15%，并且实现了两倍的机器学习性能提升，在处理机器学习工作负载（例如图像处理和精度灵活性等）更有余力。
移动应用包括游戏在内的最新用例，对硬件与性能正在提出更多新需求；更复杂、更具沉浸感的AAA游戏体验在手机上越来越常见，领先的AAA级PC和控制台游戏都有了移动版本；此外，新一代用户越来越多地选择手机作为他们的游戏平台。Arm在新GPU中添加的功能，反映了对终极移动游戏体验的追求，也代表了当前的技术趋势。
移动光线追踪
Immortalis-G715提供了基于硬件的光线追踪，这也是当前移动终端关注的重点之一。“光线追踪”技术并不陌生，它作为一种计算机图形技术，通过建模单个光线在场景周围的路径来生成逼真的照明和阴影，可以使图形真实感达到跃升式变化。通过模拟真实世界中光线的表现，创造出与现实生活几乎无异的3D场景。
在“光线追踪”技术问世之前，游戏中的画面主要采用“光栅化”进行渲染，可以实现一些局部照亮的光线效果，画面细节则主要靠贴图。在当时，光线追踪技术如果想要实现更真实的画面，需要显卡具备较高的图形运算能力。
2018年，NVIDIA发布了十多年来在计算机图形领域的重要创新——图灵GPU架构，首次将光线追踪带入桌面级市场，当时刚体验过的玩家就认为，“未来的游戏必然需要光线追踪，那种拟真的质感将俘获大多数玩家。”
如今，随着手机游戏玩家越来越注重画质表现，除了传统的提升分辨率，手机游戏也在逐渐“PC化”，光线追踪自然也就成为手机游戏复刻甚至超越桌面游戏体验的关键。
在一些跨平台的AAA大作中，移动游戏在画质上给予了玩家更高的自由度。他们可以根据设备本身的性能水平，除了游戏的特效等级、分辨率、抗锯齿等设置，还可以对阴影、反射、环境光等细节参数做出改动。在这些高端游戏中广泛应用的正是光线追踪技术。如今，MediaTek抢先在天玑系列的旗舰平台上支持了光线追踪功能。
Arm方面介绍，光线追踪代表了移动游戏内容的范式转变，之所以在Immortalis-G715上引入基于硬件的光线追踪支持，是因为合作伙伴已经准备好了，硬件已经准备好，开发者生态系统也即将准备好。
据Arm当时透露，Immortalis-G715将在明年年初出现在旗舰智能手机中，这是生态系统开始探索游戏内容光线追踪技术的基础，且这一技术未来几年将继续得到发展。不过，从目前MediaTek的市场动作来看，已经抢先推出了首款基于Immortalis-G715的移动端芯片，且内置这一芯片的智能手机预计将于今年底上市，进一步加速了移动端硬件光线追踪技术的商用化进程。
Imagination方面也曾表示，光线追踪是改变游戏规则的3D图形技术。多年前由于整个生态还未准备好，也缺乏相对完善的API标准，因此这项技术在移动端的应用一直没有得到推进。从2018年桌面级GPU公司推出PC光线追踪开始，整个业界开始有了生态投入，并且在2020年Khronos图形标准化组织推出了Vulkan API的光线追踪Extension，现在推出具有光线追踪功能芯片的时机已经到来。
如上文所提到，除了IP厂商的推进，全球对于光线追踪的标准也在不断完善。特别是今年1月，Vulkan 1.3标准正式发布，已经支持了Vulkan Raytracing API，这便于开发者通过 Vulkan标准的API，对光线追踪支持加以利用。这也标志着——移动GPU光追技术将继续加速普及，并覆盖更广泛的内容类型。
渲染优化、执行引擎优化
除了光线追踪这一核心亮点，移动GPU在优化渲染效率、执行引擎、PPA等方面也有了不小的改进。
Arm最新的GPU中新增了可变比率着色功能，在图形和视觉效果方面，通过优化渲染提供了显著的节能和性能提升。本质上，它获取一个场景，比如在游戏动作发生的地方，会以精细的像素粒度将渲染集中在需要它的部分；而需要较少关注的区域，比如背景风景，则以更粗的像素粒度进行渲染。这样就使得游戏场景在保持视觉质感的同时，能够节约系统功耗。其次还有执行引擎的创新等，也是以提高计算能力和能效的关键。
Imagination的分块延迟渲染（TBDR）技术，总体的思路也是提高像素渲染的效率。通过分块，可以把一个个小块上的图形数据挪到GPU的Cache上，只做一次性的搬移，从而节省带宽。此外，分块技术能对负载在GPU上进行高效分布，更加善于利用系统内存，通过只渲染可见像素，放弃被覆盖或遮挡像素来大幅提高整体效率。此外还有硬件压缩技术，通过对像素不同等级的压缩，在保证图像质感的同时，达到节约带宽的目的。
始于游戏，但不止于游戏
高端游戏技术由桌面向手机迁移的必然趋势下，视觉体验的颠覆式跃进在加速。追求极致体验的手机游戏，真正驶向的蓝海难以估量。或者说，游戏带来的技术沉淀与革新将在更广泛深远的范围内被应用，一切始于游戏而不止于游戏。
首先，硬件设备方面，大体量高度沉浸的手机游戏推动了高效硬件设备和通信网络的落地;软件技术方面，游戏引擎技术带来的云能力，也提升了云计算、云原生引擎的落地动力，这都为视觉应用的普及和升级打下了基础。
其次，游戏引擎优化带来的沉浸感技术，将持续向各行业渗透，并带来交互体验的提升。在此基础上进行的数字重建、数字孪生，也可以让虚拟世界更加真实，为AR/VR、虚拟购物、自动驾驶汽车及先进驾驶辅助系统等领域带来大规模落地的希望。
第三，移动游戏也正在助推实时3D技术的发展，这是一个价值1035亿美元的庞大产业，其规模已超过了游戏机和电脑游戏市场的总和。移动设备的基础计算和图形处理能力正在提高，这意味着游戏将通过实时3D变得更加真实，令人感到身临其境。
不仅如此，实时3D也在助力移动应用创造出更多可能。比如3D导航、3D建模、实时3D虚拟体验等，走向更逼真、更具沉浸感的视觉应用。
第四，目前业内很多人看好游戏作为元宇宙的切入点，从构建元宇宙的环境来看，很多都是由影视素材和游戏素材搭建起来的；并且用户在手机游戏中的虚拟身份，也便于他们畅游元宇宙；以上所有这些基于游戏而创新的视觉技术、设备，都有望在元宇宙焕发新生。
还有哪些挑战？
对于有志于在未来视觉产业中大干一番的厂商来说，技术实力是一项硬性指标，此外，还需要与相关技术的有机结合，以及产业生态之间的合纵连横。
举个例子，如果要将游戏应用从智能手机转移到 AR、VR等其他领域，首先需要游戏开发者和创作者将他们的经验应用其中，这必然需要强大的产业对话能力和生态构建能力，特别是生态，将会是移动视觉产业进一步升级的必经之路。
Arm方面就表示，接下来的GPU新品（代号：Titan和Krake）将持续提升性能，在系统层面优化用例性能，赋能各类消费级设备实现高质量的视觉体验。为了实现这一点，他们正在和顶级游戏发行商、游戏开发工作室合作，通过软件、工具等，最大限度地提高游戏应用程序的性能。例如，动视暴雪 (Activision Blizzard)、拳头游戏 (Riot Games)、King 和 Wargaming 等；同时与Unity开展战略合作，将Arm技术预集成到Unity工具链中，使Unity开发者能够在其原生开发环境中获取Arm技术的性能，为创作者提供更好的体验。
芯片厂商也在积极推进生态布局。面向开发者和硬件厂商，MediaTek与评测工具厂商展开合作。并且，MediaTek基于移动端游戏等应用的发展特征，提出了移动GPU增效方案，实现保持系统资源平衡的基础上，满足高复杂度内容的计算需求。此外，MediaTek与腾讯《暗区突围》游戏制作团队合作，开发移动端光线追踪技术在游戏上的应用，包括游戏引擎优化、管线优化、光追内容特效的呈现等。
对于游戏开发者来说，他们也在思考如何突破移动平台视觉效果界限，让用户体验再度升级？当前，照明是业内备受关注的一个主题，即：如何在有限的热预算限制下，实现与日益增长的场景复杂性相匹配的间接照明。
被誉为“皇冠上的珍珠”的全局照明 (Global Illumination, GI) 就是对逼真照明这一游戏中最重要视觉组件的终极模拟。据了解，腾讯游戏已经和Arm围绕实时照明进行了深度合作，包括基于Arm Immortalis-G715 GPU硬件加速的极致光追性能，到高度优化的预计算软件实现，通过汇聚多种方案的优势让全局照明进一步得到提升。
写在最后
综合来看移动GPU近年来的创新，是架构、算法、工具、生态等齐头并进发展的结果。这其中包括了架构的可扩展性、灵活性、效能、效率、可编程性，以及和行业标准API的协同发展，从而能够针对更为多样化的场景和终端进行开发部署。
事实上，在移动GPU现有的应用场景中，绝不止于手机游戏。例如手机的美颜软件、短视频特效、相机中AR的应用或影像算法，其实都需要用到GPU的算力。只不过在游戏这个品类中，我们看到了发挥GPU巅峰算力时的应用状态，以及未来的更多可能性。
手机游戏最终驶向哪里？一切正处在变革时刻，性能、效率或将是视觉体验应用到各处的关键，同时，强大的生态也有助于更多视觉应用快速落地。平衡好硬币的两面，实现性能、功耗、品质、开发成本的完美平衡，移动视觉产业将驶向更广阔的蓝海。
下载ECAD模型
