来源:雷科技AI硬件组 | 编辑:冬日果酱 | 排版:JAY
超级分辨率(以下简称「超分」),对很多追求画质的重度游戏玩家来说,可能都不陌生。经过这几年的发展,超分技术在 PC 已经获得了比较广泛的支持和认可,在移动平台上也成为了手机发布会上的常客。
现在,Arm 也要「超分」了。
就在最近,Arm 官方在社区发布了一篇文章,宣布推出 Arm ASR(Accuracy Super Resolution)超级分辨率技术,在提升游戏画面分辨率和帧数的同时,还降低了手机的功耗。
众所周知,现代电子游戏的画面一直在往更加拟真的方向发展,玩家对于画质、帧率、光照等方面的追求永远没有终点。但帧率就像是鱼、画质就像熊掌,GPU 在巨大负担的情况下很难兼得。
具体到实际体验中,我们会发现许多手机在运行那些游戏大作时,在高画质模式下往往会遇到过热、掉帧等问题,并且还更耗电,对用户体验会有不小的影响。
在这种矛盾下,AI 计算成为了一个重要的突破口。
「DLSS 是 AI 驱动图形领域的革命性突破」,图/英伟达
2018 年,英伟达率先推出了 DLSS 技术,通过 GPU 中 Tensor Core 的神经网络运算来提高游戏性能,随后掀起了一场图形处理革命,AMD、英特尔也都在后续推出了类似 FSR 以及 XeSS 超分技术。
在手机领域,Arm 不是第一家推出超分技术的芯片厂商。2022 年联发科就推出了自己的游戏超分技术—— Game AI-SR,苹果也在同年 WWDC 上推出了 MetaFX 超分技术,高通则是去年正式推出了骁龙游戏超级分辨率(Game Super Resolution)技术,简称骁龙 GSR。
在 Arm 推出 ASR 的当下,手机超分技术正在进入一个新的发展阶段。与此同时,过去几年盛行的外挂显示芯片,也将面临「英雄无用武之地」的尴尬局面。
ASR 官方实测,比 AMD、高通都强?
根据 Arm 官方表示,其ASR 超分技术是基于 AMD FSR 2 进行开发,所以也基于 MIT 许可证开源。
按照官方的测试,Arm ASR 在移动平台有着比AMD FSR 2 更高的帧率提升,而比骁龙 GSR 有着更好的画面渲染质量。
在配备 Arm Immortalis-G720 GPU 和 2800 x 1260 显示屏的设备上,ASR 技术可以将帧率提高 38%-53%。相比之下AMD FSR 2 在 2x 倍率下只能将帧率提升 36%。
另外官方测试还显示,骁龙 GSR 可在 1.3x 的倍率下将帧数提升 47%。
需要指出的是,相比骁龙 GSR 基于空域的处理方式,ASR 基于时域的处理方式在图像质量上有更好的保证。Arm 官方表示,相比基于空域的超分方案,ASR 在处理动态场景时表现更加出色,减少了画面撕裂和延迟的问题。
基于空域和时域到底意味着什么?要解释二者之间区别,AMD FSR 是最好的例子:
作为 AMD 的第一代超分方案,FSR 1 基于空域,通过提升单帧图像的空间细节来提高分辨率,核心是在单一图像帧内利用现有的像素信息,插值或重建出更高分辨率的图像。
作为第二代,FSR 2 则转为基于时域,通过综合多帧图像的信息来提高分辨率,不仅利用空间信息,还结合时间信息,即相邻帧之间的运动和变化来进行图像重建。
相比AMD FSR 1,AMD FSR 2 在画面质量好上太多,甚至可以做到和原生渲染画面相差无几,至少肉眼很难分辨。
理论上,基于空域的超分技术,在快速移动的画面中往往会出现模糊和拖影现象。但基于时域处理的 ASR 在动态场景中会有更加出色的表现,通过结合时间帧的信息,可以有效减少模糊、拖影等问题,提供更清晰和流畅的画面。
在处理高对比度场景时,基于时域的超分方案也能更好地保留细节和层次感,提升整体的视觉效果。
另外,ASR 的功耗表现也值得期待。基于天玑 9300 芯片的机型,Arm 表示与原生 1080p 运行游戏相比,540p 超分到 1080p 的过程中,ASR 显著降低了电量消耗。
对于长时间游戏和高性能需求的用户来说,功耗无疑是一个巨大的优势。减少电量消耗不仅延长了设备的使用时间,还减少了设备的发热问题,提高了整体的使用体验。
ASR 的功耗优势,得益于其高效的算法和优化的处理流程。
根据 Arm 介绍,通过智能调度和资源管理,ASR 能够在保证图像质量的前提下,最大限度地降低处理器和 GPU 的负载,这不仅减少了电量消耗,还避免了因高负载带来的过热问题,从而提升了游戏的稳定性和设备的使用寿命。
手机超分进化论:从 Pixelworks 到 ASR
时至今日,英伟达 DLSS、AMD FSR 已强有力地证明了超分技术对于游戏画面渲染的革命性改变。就算最顶级的显卡,也能通过超分技术获得更好的体验。
数毛社(Digital Foundry)之前就在 RTX 4090 这张卡上将《漫威蜘蛛侠》开启 4K 画质+ DLSS 3,发现性能表现可达到关闭 DLSS 的 203.6%,并且可将画面劣化程度控制在用户肉眼基本无法感知的范畴内。
一言以蔽之,超分技术的核心在于,通过复杂的算法和强大的计算能力,将低分辨率的图像提升到接近高分辨率的水平,从而在不显著增加硬件负担的情况下提升用户体验。
从这个角度看,手机其实是更需要超分技术的设备,而事实上,这几年芯片厂商也的确都在尝试将超分技术带到手机上。
曾几何时,从荣耀、OPPO、vivo、小米到 ROG,不少主打游戏体验的机型都采用了外挂 Pixelworks 显示芯片的策略来实现游戏的超分体验。其中 OPPO 和 vivo,一度是 Pixelworks 收入占比超过 10%的客户。
Pixelworks X7「独显」芯片,也出现在了很多厂商的新品发布会上,被视为一大卖点,相信不少人还记忆深刻,就连最新发布的一加 Ace 3 Pro,就搭载了最新的 Pixelworks X7 Gen 2。
根据官方介绍,Pixelworks X7 Gen 2 集成了超低延时 MotionEngine 技术和高效 AI 游戏超分技术,手机只需要渲染低至 1/4 的游戏帧数和 1/4 的图像分辨率,即可在显示端获得至高 120 帧和 1.5K 分辨率的沉浸视觉体验。
2、联发科:率先将超分技术应用到核心芯片的大厂。
联发科则是比较早尝试将超分技术应用到手机游戏场景的芯片大厂。
在天玑 9000 上,联发科率先发布了 Game AI-SR 技术,该技术基于 APU(AI 处理单元)和 AI 模型,通过复杂的计算提升游戏图像分辨率。
按照联发科的介绍,Game AI-SR 通过对游戏场景的智能分析,优化了图像处理流程,使得在高负载情况下也能保持良好的图像质量。同时在降低功耗和提升处理效率方面,联发科 Game AI-SR 也有着出色表现。
可惜的是,联发科 Game AI-SR 一直没有公布太多的技术细节。同时,也没看到支持 Game AI-SR 的游戏出现。
3、高通:将发力点放在了超分生态的构建上。
去年初高通宣布推出骁龙 GSR 技术,官方介绍,这是一种针对 Snapdragon Adreno 图形处理单元 (GPU) 进行优化的单通道空间升级技术。
高通这一技术很快得到了多款热门游戏的站台,包括动视《使命召唤:战争地带》、腾讯《重返帝国》、网易《逆水寒》手游、《永劫无间》手游以及完美世界《诛仙》手游等都将支持骁龙 GSR 技术。
不过正如前文所说,骁龙 GSR 在帧率提升上的表现可以期待,但在保证图像质量这一点上还有较大优化空间。事实上,官方在新闻稿中也更强调骁龙 GSR 延迟和功耗方面的优势,而非画面质量。
4、苹果:打通软硬件生态的MetalFX综合实力强悍。
与 Arm ASR 一样,苹果 MetalFX 也是基于 AMD FSR 2 开发的超分技术。而作为苹果 Metal 图形框架的一部分,MetalFX 旨在为开发者提供更高效的图像处理能力。
通过 MetalFX,苹果设备可在保持较低功耗的同时,实现高分辨率的图像输出。而且不同于联发科和高通,苹果在真正意义上打通软硬件,除了 Mac,还应用在了 iPad 以及 iPhone 上,代表就是《生化危机:村庄》《死亡搁浅》等游戏。
事实上,如果没有 MetalFX,几乎不可能在苹果设备上流畅运行《生化危机:村庄》和《死亡搁浅》,尤其是 iPhone 15 Pro。
至于 Arm ASR,则是手机超分技术最新的一位玩家。
超分技术趋向原生,手机「独显」走向没落
如果说 PC 上超分技术的目标是实现更高的游戏帧率,那移动端超分技术的核心可能就是在保证提供接近原生画质的前提下,降低芯片功耗。而外挂芯片,相比集成芯片始终存在功耗上的劣势。
这可能为什么在搭载「电竞级游戏独显芯片」的一加 Ace 3 Pro 上,一加闭口不谈 Pixelworks。
不过更重要的是,外挂第三方显示芯片,确实变得越来越没必要。
一方面是,当下手机 GPU 在游戏性能上的突飞猛进,不管是骁龙 8 Gen 3 上的 Adreno 750 GPU,还是天玑 9300 上的 Immortalis-G720 GPU(Arm 公版),甚至是苹果的 A17 Pro,都让手游的画面体验有了大幅度的升级。
就拿曾经的「手机显卡杀手」《原神》来说,现如今各家旗舰 SoC 都能在原生最高画质下跑到接近满帧。
另一方面,从高通到联发科再到 Arm,随着各大主流芯片厂商对超分技术的原生支持,通过优化硬件和软件的协同工作,理论上可以实现更加出色超分效果,不仅能简化了开发者的工作,还能提升整体的游戏体验。
而据爆料,今年 10 月发布的骁龙 8 Gen 4 就将搭载 GSR 超分技术,支持原生的游戏画面超分和插帧,甚至还会适配骁龙 8 Gen 3 以及骁龙 8s Gen 3。正如@数码闲聊站所说:
「我在想有些主打双芯平台的旗舰怎么办,如果游戏启用独显补帧,延迟控制又不如高通原生方案,有点尴尬。」
相比外挂芯片,主流芯片厂商都是直接通过芯片内 GPU 与 NPU/APU 的协同,更好地利用芯片的计算资源和能效优化,提供更稳定和高效的图像处理能力。无论是在动态场景还是高负载情况下,原生支持的超分技术都能够提供更一致的表现,避免了外挂芯片可能带来的兼容性和稳定性问题。
相比之下,Pixelworks 等外挂显示芯片的局限性正在凸显,大概率将被手机厂商逐渐抛弃,甚至退出历史舞台。
但对于手机超分来说,这只是一个新的开始。