560
自从一年前代号为“马里亚纳”的芯片自研计划曝光以来，外界对OPPO自研芯片的好奇和议论不断，除了关注手机厂商自研芯片的趋势将给市场生态带来的改变，大家对这一芯片的属性也十分关注。
今天，OPPO在未来科技大会上正式公开发布了这一芯片，而在之前的一次闭门会议中，OPPO芯片产品高级总监姜波揭开了这个芯片的面纱——一个影像专用NPU。
无疑，目前手机核心处理器的性能已经十分强大，提升空间已然不多，因此智能手机在核心功能上进行垂直迭代的空间也已有限，但横向性能的拓展还大有可为。而影像作为手机最重要的功能之一，其结合AI技术有很大的提升空间。因此，几乎所有通用处理器厂商在研发新一代产品时，也都将影像的AI处理能力作为一个重要的特性。但作为处理器内置的一个单元，它往往满足不了手机厂商对个性化、灵活性和差异化方面的要求。
这在OPPO尤为明显，在推出这个NPU之前，他们已经在手机的影像传感器、摄像头模组和镜头模组上进行了定制化，由此积累了影像链路大量的经验。基于通用的SoC平台，OPPO做了很多AI算法的积累，包括传统算法（CV算法）和AI算法。姜波认为，现在已经到了计算影像爆发的时间点，未来十年，计算影像将主导整个影像新的技术发展。
使得OPPO下定决心自研影像处理芯片的，是通用处理器在终极影像体验目标时所面临的挑战。例如定制化的传感器，需要处理器做相应的配合，但二者研发周期不同，配套的平衡很困难；又比如针对某个传感在处理器上做链路优化增强的处理，意味着研发要做很大的调整，成本也要增加，这些都是通用处理器比较大的挑战。
还有一个关键的点在于算法与芯片这种软硬件的结合，在很长时间里将是计算影像的关键，而如果算法和芯片本身不能相互做到完全开放、完全的紧密耦合的话，就无法发挥出最大效益，对于手机用户非常看重的体验而言，手机厂商能否自主实现这种效益会产生很大差别。
MariSilicon是OPPO自研芯片的产品品牌名称，这次发布的影像专用NPU，命名为马里亚纳 MariSilicon X，据姜波介绍，其特性包括四个：1、极致能耗比； 2、整个行业领先的HDR；3、实时的RAW域处理；4、RGBW PRO，即对定制RGBW传感器的双链路处理。
从能耗比看，马里亚纳 MariSilicon X的算力达到18TOPS，高过Phone A15的NPU算力（15TOPS），能耗仅11.6TOPS/W。姜波表示，虽然NPU可以通过增加芯片面积堆叠算力，但手机要求低功耗，11.6TOPS/W不是一个简单的网络算法片上运行的能耗，而是商用化的AI算法在实际应用场景中运行的实测数据，这个能耗非常低，依靠OPPO自研IP——MariNeuro AI计算单元实现。基于这一技术，不仅可实现AI降噪下的40fps摄像，且功耗不超过800mW。相较于Find X3 Pro中所采用的通用处理器的NPU，在运行OPPO AI降噪算法时，采用自研NPU算力提升了20倍，功耗却更低。
除了NPU本身的架构，存储也决定了AI系统的性能，马里亚纳 MariSilicon X的架构设计和算法是解耦合的，因此其片上存储也可以根据算法和场景要求进行相应客制化来进行优化，即根据自己的算法和网络模型，来配置片上存储的大小。
此外，马里亚纳 MariSilicon X有一个多级的内存控制系统，配备了专用的内存子系统和独立DDR带宽（2个Die合封在里面），和主处理器搭载使用时，整个系统的DDR吞吐率增加了17%。
从HDR处理能力看，马里亚纳 MariSilicon X可以实现20bit，120dB的图像动态范围，即图像最暗和最亮的部分相差100万倍，该性能4倍于目前最新发布的旗舰级处理器。这一性能由马里亚纳 MariSilicon X中另一个非常重要的自研IP——MariLumi影像处理单元实现。
马里亚纳 MariSilicon X可以将整个影像的AI的处理，包括影像算法的处理，都放在RAW上做，即实时的RAW域处理。通常，RAW信息，转成RGB，再转成YUV，每一步都有信息损耗。如Find X3 Pro上AI降噪的算法是放在YUV上做的，算力消耗很大，并且最多只能做到18bit的HDR。
把算法前置到RAW域，由于RAW的线性度、色彩比较好，有更原始的信息，所以在RAW上处理，可以得到更好的处理效果，但算法会更复杂，相应的硬件投入也会更多。“马里亚纳 MariSilicon X的方案至少有8dB信噪比的增强，相当于2.6倍的提升。”姜波说，“同时，在4k场景下，我们的图像亮部和暗部的增益不一样，亮部在8dB，暗部达到12dB，图像暗部的信噪比可以达到4倍的有效提升。”
RGBW sensor的原理是通过改变传感器像素排列增加进光量，提升SNR。但作为一种新型传感器，其在行业中的应用规模并不大，因此通用型处理器如果要发挥出这种传感器的长处，首先要在传感端把RGBW通过插值算法变成传统的RGGB信息，再传送给处理器，这个过程会损失一些有用的信息。
马里亚纳 MariSilicon X在定义时就和OPPO定制的RGBW图像传感器进行了耦合和优化，在设计设计图像处理的渲染链路时分为两路：一路为RGGB，同时还有一路White，较传统RAW的一路处理，可以获得8.6dB的信噪比提升。同时，在纹理细节上，通过2路的超采样，可以提高1.7倍的解析力，这样，RGBW sensor的优势得到了充分的发挥。
马里亚纳 MariSilicon X采用台积电的6nm工艺制程，据悉，这是因为在加入MariNeuro、MariLumi这些自研的IP后，12nm很难达到作为终端层面功耗性能极致的要求。而且，从工艺制程来讲，6nm也是台积电第一个主流采用EUV的制程。
马里亚纳 MariSilicon X的推出，意味着OPPO的手机可以实现在RAW上进行AI处理并实现4K的视频。通过这个芯片，OPPO首次把AI的20bit RAW、4K、Ultra HDR集成在一起，同时也首次在其安卓手机上实现了计算摄影的里程碑式的跳跃。据悉，该芯片将首先在OPPO Find X系列中搭载，预计会在明年一季度发布。
