• 正文
  • 相关推荐
申请入驻 产业图谱

NXP开始自研应用处理器NPU

2023/03/10
2366
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

NXP最新的应用处理器i.MX 95使用了NXP专有的NPU IP进行片上AI加速,这与i.MX系列之前使用第三方IP的产品有所不同。

i.MX 95系列专为汽车、工业和IoT市场的AI应用开发,满足ISO 26262 ASIL-B和IEC 61508 SIL-2功能安全标准,包括安全岛。典型的应用包括用于工厂的机器视觉和车辆语音预警、仪表和摄像头系统。

i.MX 95系列配备了多达6个ARM Cortex-A55 CPU和用于3D图形的ARM Mali GPU,以及NXP专用的2-TOPS Neutron NPU和自研的ISP。ISP处理相机接口和图像预处理,包括HDR、去噪和边缘增强等任务。

NXP的Neutron NPU是一款通用矩阵乘法加速器,旨在从芯片上的CPU内核中卸载AI工作负载。Neutron的i.MX95版本是MCX-N之前使用的IP的扩展版本。MCX-N的加速器是一个150 MHz的微控制器,每周期提供16个MAC,而i.MX 95的2-TOPS NPU可以运行1GHz或更高。(总的来说,IP可以扩展到每周期10,000次操作。)

NXP全球AI战略和边缘处理技术总监Ali Ors表示,扩展也面临着挑战。

他说:“当你开始扩大计算能力时,必须考虑更多的数据移动、分段、权重管理、DMA缓冲等。”

Neutron可以运行包括CNN、RNN、TCN和transformer在内的神经网络。Ors表示,在包括MobileNet、MobileNet-SSD和Yolo在内的CNN上进行的内部测试表明,与片上Cortex-A55相比,Neutron的吞吐量提高了100到300倍,具体取决于模型的情况。

i.MX 95中的Neutron NPU取代了i.MX 93中的ARM Ethos-U65。为什么要自研?

Ors说:“这是我们自己战略的一部分,独立于ARM围绕加速器的产品和业务战略。所以我们拥有这个架构是有意义的。”

他说,如果NXP拥有硬件IP,这意味着NXP的eIQ软件开发环境可以成为现在和未来具有AI加速芯片部件的统一因素。

Ors还指出,AI工作负载仍然是动态的;模型仍在快速发展,它们使用的基元和数据类型也是如此。

他说:“不断依赖软件,要能够与硬件相匹配,以运行这个领域即将出现的新产品,这是一个挑战。我们觉得我们可以更好地支持客户,特别是考虑到NXP有15年的供应保证,我们必须维护、支持并确保这些(部件)在部署到市场后仍能工作很长时间。”

他补充说,这包括能够更好地支持现场更新。

在i.MX 93之前,i.MX 8M+采用了Verisilicon的片上加速器IP,算力为2.3 TOPS。而i.MX 95的2 TOPS是否代表算力降低了?

Ors说:“与i.MX 95相比于8M+的原始性能基本相同,但有很大的提升,至少提升了2到4倍,这取决于模型。这是机器学习模型如何演变的功能,以及架构如何演变以匹配市场需求的功能……对于某些工作负载,95的NPU比8M+的NPU效率高得多,这些工作负载在今天比8M+设计时更普遍。”

未来的NXP应用处理器也将使用该公司的Neutron IP。

Ors说:“我们有针对更特定的垂直市场的设备计划,这些设备可能会使用相同的2-TOPS变体(Neutron),但即使在该变体中,我们提供的内部缓冲区数量或我们为DDR提供的内部接口等也可能会有所变化。”

NXP针对AI的eIQ软件开发环境包括用于数据收集和数据集管理的工具,以及为NXP目标和部署选择模型、训练、分析。

Ors说:“eIQ工具包是一个完整的流程,但在任何阶段,都可以选择使用多少NXP工具,以及想从自己的脚本或工具偏好中利用多少工具。”

NXP的API目前在早期访问的基础上向合作伙伴开放;这允许第三方为特定的用例和工具(如专有量化工具)引入他们的数据集或模型。Ors表示,NXP正在努力扩大这一API的可用性。

也就是说,NXP不会依赖第三方为eIQ带来差异化功能。NXP自己添加的最新功能是水印,旨在减少IP盗窃,因为它可以让客户知道他们部署的模型是否被窃取。

Ors描述了如何使用蛮力从最终的工作模型中重新创建AI模型(使用某些输入,收集输出),并从那里逆向设计权重。这将使某人有效地在他们自己的产品中复制该模型。NXP的水印工具旨在检测何时发生这种情况,并证明被盗IP的正确归属。

水印工具将水印插入到训练数据中,在这种情况下,人眼可能看到也可能看不到变化。结果是,该模型会对某些带水印的测试图像进行错误分类,以便用带水印的测试图像测试竞争对手的产品将证明该IP的归属。这种水印不影响模型的性能或精度。

现在有人愿意麻烦地逆向一个图像处理模型,而不是自己开发一个,这现实吗?

Ors说:“逆向工程可以比收集特定的训练数据更容易,这使得模型非常健壮。当图像很容易收集时,这就没有意义了,但当你进入非常具体的工业应用或医疗应用时,训练数据比你从公开的图像数据集中获得的数据更有价值。”

水印工具并不是为了明确防止IP盗窃而设计的;仅限于证明发生了盗窃。Ors表示,NXP与IP法专家合作,确定在潜在的诉讼中可以使用哪种证据,从而包括记录合法所有权证明所需的水印和工件的设施,以及准确的时间戳。

水印工具现已作为NXP eIQ开发环境的一部分提供。i.MX 95应用处理器预计将于2023年下半年开始取样。As

恩智浦

恩智浦

恩智浦半导体创立于2006年,其前身为荷兰飞利浦公司于1953年成立的半导体事业部,总部位于荷兰埃因霍温。恩智浦2010年在美国纳斯达克上市。恩智浦2010年在美国纳斯达克上市。恩智浦半导体致力于打造全球化解决方案,实现智慧生活,安全连结。

恩智浦半导体创立于2006年,其前身为荷兰飞利浦公司于1953年成立的半导体事业部,总部位于荷兰埃因霍温。恩智浦2010年在美国纳斯达克上市。恩智浦2010年在美国纳斯达克上市。恩智浦半导体致力于打造全球化解决方案,实现智慧生活,安全连结。收起

查看更多
点赞
收藏
评论
分享
加入交流群
举报

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录