NXP开始自研应用处理器NPU

NXP最新的应用处理器i.MX 95使用了NXP专有的NPU IP进行片上AI加速，这与i.MX系列之前使用第三方IP的产品有所不同。

i.MX 95系列专为汽车、工业和IoT市场的AI应用开发，满足ISO 26262 ASIL-B和IEC 61508 SIL-2功能安全标准，包括安全岛。典型的应用包括用于工厂的机器视觉和车辆语音预警、仪表和摄像头系统。

i.MX 95系列配备了多达6个ARM Cortex-A55 CPU和用于3D图形的ARM Mali GPU，以及NXP专用的2-TOPS Neutron NPU和自研的ISP。ISP处理相机接口和图像预处理，包括HDR、去噪和边缘增强等任务。

NXP的Neutron NPU是一款通用矩阵乘法加速器，旨在从芯片上的CPU内核中卸载AI工作负载。Neutron的i.MX95版本是MCX-N之前使用的IP的扩展版本。MCX-N的加速器是一个150 MHz的微控制器，每周期提供16个MAC，而i.MX 95的2-TOPS NPU可以运行1GHz或更高。（总的来说，IP可以扩展到每周期10,000次操作。）

NXP全球AI战略和边缘处理技术总监Ali Ors表示，扩展也面临着挑战。

他说：“当你开始扩大计算能力时，必须考虑更多的数据移动、分段、权重管理、DMA缓冲等。”

Neutron可以运行包括CNN、RNN、TCN和transformer在内的神经网络。Ors表示，在包括MobileNet、MobileNet-SSD和Yolo在内的CNN上进行的内部测试表明，与片上Cortex-A55相比，Neutron的吞吐量提高了100到300倍，具体取决于模型的情况。

i.MX 95中的Neutron NPU取代了i.MX 93中的ARM Ethos-U65。为什么要自研？

Ors说：“这是我们自己战略的一部分，独立于ARM围绕加速器的产品和业务战略。所以我们拥有这个架构是有意义的。”

他说，如果NXP拥有硬件IP，这意味着NXP的eIQ软件开发环境可以成为现在和未来具有AI加速芯片部件的统一因素。

Ors还指出，AI工作负载仍然是动态的；模型仍在快速发展，它们使用的基元和数据类型也是如此。

他说：“不断依赖软件，要能够与硬件相匹配，以运行这个领域即将出现的新产品，这是一个挑战。我们觉得我们可以更好地支持客户，特别是考虑到NXP有15年的供应保证，我们必须维护、支持并确保这些（部件）在部署到市场后仍能工作很长时间。”

他补充说，这包括能够更好地支持现场更新。

在i.MX 93之前，i.MX 8M+采用了Verisilicon的片上加速器IP，算力为2.3 TOPS。而i.MX 95的2 TOPS是否代表算力降低了？

Ors说：“与i.MX 95相比于8M+的原始性能基本相同，但有很大的提升，至少提升了2到4倍，这取决于模型。这是机器学习模型如何演变的功能，以及架构如何演变以匹配市场需求的功能……对于某些工作负载，95的NPU比8M+的NPU效率高得多，这些工作负载在今天比8M+设计时更普遍。”

未来的NXP应用处理器也将使用该公司的Neutron IP。

Ors说：“我们有针对更特定的垂直市场的设备计划，这些设备可能会使用相同的2-TOPS变体(Neutron)，但即使在该变体中，我们提供的内部缓冲区数量或我们为DDR提供的内部接口等也可能会有所变化。”

NXP针对AI的eIQ软件开发环境包括用于数据收集和数据集管理的工具，以及为NXP目标和部署选择模型、训练、分析。

Ors说：“eIQ工具包是一个完整的流程，但在任何阶段，都可以选择使用多少NXP工具，以及想从自己的脚本或工具偏好中利用多少工具。”

NXP的API目前在早期访问的基础上向合作伙伴开放；这允许第三方为特定的用例和工具（如专有量化工具）引入他们的数据集或模型。Ors表示，NXP正在努力扩大这一API的可用性。

也就是说，NXP不会依赖第三方为eIQ带来差异化功能。NXP自己添加的最新功能是水印，旨在减少IP盗窃，因为它可以让客户知道他们部署的模型是否被窃取。

Ors描述了如何使用蛮力从最终的工作模型中重新创建AI模型（使用某些输入，收集输出），并从那里逆向设计权重。这将使某人有效地在他们自己的产品中复制该模型。NXP的水印工具旨在检测何时发生这种情况，并证明被盗IP的正确归属。

水印工具将水印插入到训练数据中，在这种情况下，人眼可能看到也可能看不到变化。结果是，该模型会对某些带水印的测试图像进行错误分类，以便用带水印的测试图像测试竞争对手的产品将证明该IP的归属。这种水印不影响模型的性能或精度。

现在有人愿意麻烦地逆向一个图像处理模型，而不是自己开发一个，这现实吗？

Ors说：“逆向工程可以比收集特定的训练数据更容易，这使得模型非常健壮。当图像很容易收集时，这就没有意义了，但当你进入非常具体的工业应用或医疗应用时，训练数据比你从公开的图像数据集中获得的数据更有价值。”

水印工具并不是为了明确防止IP盗窃而设计的；仅限于证明发生了盗窃。Ors表示，NXP与IP法专家合作，确定在潜在的诉讼中可以使用哪种证据，从而包括记录合法所有权证明所需的水印和工件的设施，以及准确的时间戳。

水印工具现已作为NXP eIQ开发环境的一部分提供。i.MX 95应用处理器预计将于2023年下半年开始取样。As