499
在移动芯片发展历史上，始终有这样一个趋势：伴随着智能手机的升级，移动 SoC 的组成模块越来越多，制程上不断挑战摩尔定律极限。
但是看多了几大厂商之间的芯片斗法，见惯了参数不断上升、模块不断增多、制程纳米数不断下降，似乎也是有点乏味。难道移动芯片的创新之路，就没有其他方向可走了吗？
今年大家最关心的移动芯片，毫无疑问是麒麟 9000。这款芯片采用了 5nm 工艺制程，集成 153 亿晶体管，在性能、AI、拍照等能力上都有大幅创新，各位想必也了解过很多了。但在麒麟 9000 的创新中，有一项却是跟其他芯片完全不同的。那就是麒麟 9000 在业界首次实现 ISP+NPU 融合架构。
移动芯片中的融合架构创新，这个说法大家似乎很少听到，那么理解起来可能也难免生涩。但其实，麒麟 9000 中的这个创新，不仅将直接带给华为旗舰机，比如 Mate 40 系列用户以全新的影像体验，还指向着移动芯片与产品能力高度同频、智能与影像能力全面融合，这两个在今天非常核心的行业趋势。
或许可以说，麒麟 9000 中的 ISP 邂逅 NPU，不仅是一枚芯片，几款手机的事，更是未来智能手机发展中的一种确定性未来。
为了帮助大家理解这个技术创新，咱们今天就换个路子：咱把 ISP 和 NPU 想象成偶像剧里的男女主角。这个架构融合就约等于组 CP。顺着这个思路，咱们来聊三个问题：
1、 这对 CP 有什么缘分？
2、 他俩牵手需要跨过哪些障碍？
3、 CP 成了之后，能给观众发哪些糖？
好，咱们这就开始。
缘分注定多时：ISP 与 NPU 的邂逅
话说，整个一块移动 SoC 中，一般来说有这么几位成员：CPU、GPU、基带，ISP 模块，以及这几年最火热的 AI 处理单元 NPU。
其中 ISP 是手机拍照的必需品，堪称智能手机时代的江湖老男神；而 NPU 则是刚刚出道几年的少年侠女，兴致勃勃要闯出一片新天地。
看过电视剧的都知道，男女主就得看着有区别，不在一个路子上，这样邂逅之后才有 CP 感。ISP 和 NPU 正是如此。虽然 ISP 和 NPU，两大部件看似处在不同的道路上，但它们在目前这个周期中却有相遇的必然性。
一方面，传统的手机端 ISP 开始面临一系列瓶颈。比如对暗光拍摄的高要求，就为芯片硬件处理性能提出了更高要求。再比如为了解决手机摄影的进光量问题，近两年兴起了 RYYB 传感器，传统 ISP 已经无法应对其中 Y 像素蕴含的色彩信息容量。或许可以说，影像的世界太复杂，传统 ISP 有点撑不住了。
另一方面，AI 算法也在面对越来越丰富的图像处理任务时，通过深度网络对逐个像素特征的学习和表达，大幅提升了画质。所以在今天，图像与视频处理过程中需要大量 AI 算法的计算，而 ISP 本身在很多任务上不具备 NPU 的计算效率，就需要通过 ISP 与其他模块间的计算传输来支撑复杂的图形图像算法，最终导致要么牺牲算法强度，要么造成处理延迟，都会导致用户体验变差。触摸到天花板的 ISP，必须完成一些变革才行。当然，ISP 本身也在发生不少变化，比如麒麟 9000 里采用了新一代的 ISP 6.0 图像处理器。但这还不够，为了让 ISP 能够发挥出跟上时代的价值，需要给他安排一场邂逅。
邂逅的对象，就是近几年风头无两的 NPU。NPU 在移动 SoC 中正处在高速进化阶段，比如麒麟 9000 中，华为达芬奇架构升级到了 2.0 版本，实现了 NPU 算力的再次翻倍，以 148 分的成绩刷新了苏黎世联邦理工学院 AI Benchmark 排行。
而实力雄厚的 NPU，正在雄心勃勃瞄准着新机遇。AI 处理能力需要与具体的任务和体验结合，才能让用户真正感觉到智能的魅力。而在一系列任务中，图像是与 AI 结合关系最紧密的一点。而 AI 计算需要跨越的主要挑战，就是高效和实时化的图像处理。
从这个关系可以看到，ISP 需要更强大的 AI 计算能力来完成突破，NPU 则需要与图像处理更紧密的联系来发挥自己的潜力，两者的缘分其实早就注定。
从这点来看，麒麟 9000 的 ISP+NPU 融合架构虽然是行业的全新突破，但从产业逻辑上却是一种必然的邂逅。
为了满足这场邂逅的充分必要条件，麒麟 9000 还需要完成一系列挑战。
嗑 CP 的准备工作：新架构，新挑战
俗话说，没有世仇的罗密欧与朱丽叶是无聊的，没有挑战的 CP 感也是乏味的。
ISP+NPU 的架构融合，可以有效解决今天手机用户关于摄影的核心需求：一是提升了 AI 能力，让视频拍摄也可以获得 AI 支持；二是让华为提出的 RYYB 传感器更加出色，将摄影的细节色彩还原和暗光拍摄能力再次提升。
但这样的价值却并不容易实现，ISP 与 NPU 的架构融合，还需要克服一系列的技术挑战，在多种高精度因素之间寻求最合适的平衡点。让我们继续磕偶像剧的思路，把 ISP 和 NPU 的架构融合挑战，想象成情侣间经常碰到的三个困难场景：
1、性格：性格不合，是很多情侣遇到的第一个问题。而 AI 的性格就是算法。ISP+NPU 融合新架构，首先就是要找到适合这个新架构的算法。要知道，ISP 作为影像处理单元，在架构融合之后要给 NPU 输入非常庞大而复杂的数据。为了能稳定有效地处理这样的数据，NPU 需要确保运算中的鲁棒性，还需要提升运行效率。这就需要开发团队最大化让 NPU 的算法模型与硬件配合，确保 NPU 和 ISP 性格合适，相处得来。
2、能力：在 ISP+NPU 的融合架构里，一个重要目标就是满足视频拍摄时的 AI 处理。而这需要 NPU 具备足够强的能力，也就是充沛的计算能效。比如说在如 30fps 场景下，整个 ISP 链路必须在 33ms 内完成单帧计算工作。这就留给 AI 处理算法的时间很短。如果计算性能不达标，将产生极大的卡顿问题。所以说，NPU 足够强劲，能够支撑起足够的计算能效，是新架构面对的第二个挑战。
3、钱包：情侣在一起，不能很快就把家底折腾没了。对于 ISP+NPU 的新架构来说，就是不能以过度的耗电为代价执行新架构。否则手机的耗电和发热问题会严重影响用户体验。因此架构突破还必须约束在一定的能效范畴内，不能三两下耗光手机电池的“钱包”。
这些因素的相互影响与制约下，麒麟 9000 的开发团队必须在算力、算法、能耗间取得一个精准的平衡点，才能达成 ISP+NPU 的创新。
众多技术创新背后，其实都是带着枷锁起舞。麒麟 9000 的 ISP+NPU 融合架构也是如此。只有在严苛的平衡条件下，AI 计算能力和图像处理能力，才可以由原本的普通合作关系，变成一体化的高甜 CP。
一系列用户体验的创新，都由此开始。
影像智能高甜时刻：麒麟 9000 带给用户的质感
下面我们来回答最重要的一个问题：ISP 和 NPU 这一对，跨过了这么多艰难也要在一起，究竟能给广大观众带来点什么？
事实上，芯片是手机产品与应用的想象力基础，真正的手机创新往往要从芯片开始。我们回到用户的视角中，会发现麒麟 9000 的架构创新重新打破了我们对手机影像能力的常识界定，并且将近几年备受瞩目的技术路径推到了更成熟的阶段。
对于用户来说，麒麟 9000 中 ISP+NPU 的高甜 CP，带来了这样几个关于视觉世界的全新质感：
1、 升级：完美支持 RYYB 色彩。
新的 ISP+NPU 融合架构，首先实现了用智能计算的新方式，全面支持新型 RYYB CFA。这让 RYYB 的价值被进一步放大，用户体验更加具有一致性。用户直接的感受是，日常拍照的细节和色彩还原将更加逼真，尤其是夜晚拍摄效果将得到又一次巨大升级。
2、开启：视频拍摄真智能。
ISP+NPU 融合架构将超强的细节还原、降噪能力带入了视频领域，并且让暗光环境下拍摄的视频更加清晰、细节展现淋漓尽致。在新架构的支持下，麒麟 9000 可以实现视频拍摄智能化水准，以及实时化效果质量的全面提升。开启了智能视频时代色彩、清晰度、光线捕捉的全新水准。
3、 和谐：计算摄影与整机体验更加适配。
ISP+NPU 的融合新架构，让计算摄影这个近几年的核心议题，可以与手机的整体计算、能耗体验更加适配，相互关系更加平衡。在提升摄影、摄像等视觉水准的同时，不以牺牲手机能耗为代价，细水长流，让整体体验更加顺滑。
可以说，ISP+NPU 的新架构是对计算摄影新的理解，是一次芯片架构设计创新，让手机影像拍摄能力得到了一次全面升级，在追求所见极致化的路上走得更远。而麒麟 9000 更深层的产业意义在于，它展现了新一轮的移动芯片变革可能性。在智能手机行业中，芯片一般都是作为基础部件，不会直接考虑手机产品本身的创新需求与方向。这是全球半导体行业分工导致的常态，但在华为这样的全栈终端厂商崛起后，事情开始不断发生改变。
以麒麟 9000 为例，ISP+NPU 的架构融合创新，更加适配华为终端产品采用的 RYYB 传感器、电影摄像头解决方案、影像智能等一系列新部件、新功能、新的产品方向。这展现出了华为在手机端与移动芯片端协同开发的全新高度。以用户需求和用户体验为导向，芯片开发可以与手机发展高频同步，即使需要跨越很高的融合难度，但最后依然可以把“甜美”的智能影像体验送到用户面前。
另一方面，智能技术与影像能力的融合，也让移动芯片某种程度上反思一味追求多能力、高数值的传统发展定式。
很大可能性上，ISP+NPU 的融合架构创新，将是创造更多可能的开始。手机产业的软硬件之间、系统与应用之间的联系正在更加紧密。
在这对 CP 成功牵手出道背后，我们能看到色彩的创新可能驱动芯片的更迭；AI 算法的演进也能带来拍摄体验的升级。集成化、一体化、智能化，构成了未来智能手机的康庄大道。
一条由麒麟 9000 开启的，高甜的智能+影像之路。
下载ECAD模型
