随着工业4.0的推进,传统工业设备正向智能化和自动化方向转型。这要求设备具备更高的算力、更强的实时处理能力以及支持AI算法的能力,以应对工业机器人、电机控制、预测性维护等复杂应用场景。
近年来越来越多的芯片厂商纷纷推出工业“MCU+AI”产品,MCU的算力持续提升,已经能够满足边缘端低算力人工智能的需求,将AI加速器集成在MCU上,实现端侧部署的单芯片解决方案正逐渐成为主流方案。
下面,我们盘点一下2024年度头部芯片厂商发布的主要“MCU+AI”产品,梳理下相关产品的AI功能实现方式、AI生态构建,以及典型的工业应用等。
AI功能实现方式各异
采用Arm Helium™技术
Arm Helium™是Arm公司在2019年推出的,为Armv8‑M架构的Arm Cortex-M处理器提供的M-Profile矢量扩展技术,能够显著提升机器学习(ML)和数字信号处理(DSP)应用的性能。目前Arm Cortex-M52、Arm Cortex-M55和Arm Cortex-M85支持Arm Helium技术。
过去一年,瑞萨电子推出的RA8x1 MCU以及RZ/V2H MPU等产品,均集成了专为AI应用设计的硬件加速引擎,能够满足工业市场的需求。其中RA8x1 MCU属于瑞萨RA8系列,采用Arm Cortex-M55内核,高达480MHz,引入Arm Helium™技术,与基于Arm Cortex-M7处理器的MCU相比,在DSP和ML应用层面实现高达4倍的性能提升。
极海半导体的G32R501系列实时控制MCU,采用Arm Cortex-M52内核,同样引入了Arm Helium™技术,大幅提升DSP和ML的性能,有效降低了MCU内核的实时负载,支持实时处理并减少延迟,从而降低了系统的整体复杂度和软件开发难度。
集成NPU
2024年8月,国芯科技推出了CCR4001S系列MCU,基于国芯科技自主RISC-V架构C*Core CPU内核研发,内部配置了AI NPU,支持智能控制算法与自适应变频控制算法。
2024年9月,恩智浦推出的i.MX RT700系列跨界MCU,集成了NXP自研的eIQ® Neutron系列NPU AI/ML加速器。其内核采用异构架构,包含有两个Arm Cortex-M33,主频分别为325MHz和250MHz,包含两个DSP分别为HiFi-4和HiFi-1,以及包含一个基于开放式指令集架构的EZH-V IO协处理器。
2024年12月,德州仪器业内率先推出具有NPU的TMS320F28P55x系列实时MCU,采用主频150MHz的32位C28x DSP内核,内置单精度浮点单元、三角函数加速器,采用150MHz的可编程控制律加速器。
集成NPU+ Arm Helium技术
2024年4月,英飞凌推出的PSOC Edge E8x系列产品,采用Arm Cortex-M55内核,支持Arm Helium™ DSP并搭配Arm Ethos™-U55的神经网络处理器,以及Cortex-M33内核搭配着英飞凌超低功耗NNLite(用于加速神经网络的专有硬件加速器)。
Arm Ethos™-U55是Arm公司推出的首款面向Cortex-M系列的microNPU(微神经处理单元),专为在面积受限的嵌入式和物联网(IoT)设备中加速机器学习(ML)推理而设计。
2024年12月,意法半导体推出的STM32N6系列产品,采用Arm Cortex-M55内核,频率高达800MHz,是其首款引入Arm Helium™向量处理技术的CPU,也是首款采用自研的嵌入式推理专用Neural-ART Accelerator™ NPU的产品。
其他方式
除了集成NPU或Arm Helium™技术之外,MCU也可以通过其他方式实现一定程度的AI功能。如:通过优化软件算法,MCU可以在其处理能力范围内执行简单的AI算法;集成DSP单元,DSP对于执行数字信号处理任务(如FFT、滤波等)非常高效,这些任务在AI算法中也很常见;配备其他类型的协处理器,如FPU(浮点处理单元)或特殊功能协处理器,这些协处理器可以在一定程度上加速AI算法的执行。
此外,MCU还可以通过外部接口连接专门的AI加速器芯片,AI加速器芯片可以处理复杂的AI算法,并将结果返回给MCU进行后续处理。
本土头部MCU厂商兆易创新在“MCU+AI”领域的布局也走在前列。2024年11月,兆易创新推出的GD32G5采用Arm Cortex-M33内核,高达216MHz,内置高级DSP硬件加速器和单精度浮点单元,以及硬件三角函数加速器和滤波算法、快速傅里叶等多类硬件加速单元。2023年推出的高性能GD32H7系列芯片,同样可以为复杂运算、多媒体技术、边缘AI等高级创新应用提供强大的算力支撑,采用600MHz Arm Cortex-M7高性能内核,支持多种硬件加速,新增了大量通用外设资源。
AI生态构建
随着边缘AI技术的发展和应用场景的不断落地,MCU厂商都在持续构建自身的生态。除了社区支持外,目前各大头部MCU厂商都在以“MCU+AI”硬件为基石,持续丰富升级自身的软件工具链,更好的助力客户产品落地。
瑞萨电子全球销售与市场副总裁、瑞萨电子中国总裁赖长青在接受与非网采访时表示:“下游客户希望MCU厂商管得“越来越宽”,不仅仅满足于单一的芯片产品,并期望芯片公司能够提供包括开发工具、软件以及后续支持在内的完整解决方案。这种需求的变化,促使芯片公司不仅在硬件上不断创新,而且还需要在软件栈上进行大量投入,以构建更加完善的开发生态。”
瑞萨电子全球销售与市场副总裁、瑞萨电子中国总裁赖长青
恩智浦于2021年就推出了eIQ® Toolkit工具包,可以使用户快速地开发基于图像任务的软件程序。恩智浦更是于近期发布了eIQ® Time Series Studio,并集成于eIQ® Toolkit工具包,专门用于时间序列数据处理。
德州仪器的边缘AI模型开发主要依赖于其TI Edge AI Tools软件。针对特定应用场景,客户可以利用该软件及神经网络运算单元模型,通过大量数据进行训练。经过充分的实验与验证,例如在故障检测中,该模型可达到超过99%的准确率,满足设计目标。随后,TI Edge AI Tools可将训练好的模型编译为可识别的二进制代码部署运行。
兆易创新也正在构建其通用的嵌入式AI平台(Embedded AI)。兆易创新MCU事业部产品市场总监陈思伟表示:“Embedded AI能够将业界主流的AI模型部署至GD32 MCU,为用户提供广泛的开发支持。同时,公司还提供定制化AI服务,以满足客户的差异化需求。我们专注于开发多样化的AI解决方案,如拉弧检测等,未来将推出更多参考设计,为智能应用开辟更广阔的空间。”
兆易创新MCU事业部产品市场总监陈思伟
与第三方人工智能平台的合作,也是MCU厂商完善AI工具链的重要方式。Nordic半导体亚太区销售及市场推广副总裁Bjørn Åge "Bob" Brandal表示:“Nordic与Edge Impulse等人工智能平台进行合作,在我们的设备上实现机器学习功能,例如与Edge Impulse合作开发的nRF Edge Impulse app,可使用Edge Impulse Studio在Nordic Thingy:53上训练和部署嵌入式机器学习模型。”
Nordic半导体亚太区销售及市场推广副总裁Bjørn Åge "Bob" Brandal
此外,与生态合作伙伴的协作也至关重要。
赖长青表示:“瑞萨电子在边缘AI领域投入了大量的资源并取得了显著的成果。不仅仅在研发和生产功能完备的硬件产品维度,软件方面,公司推出了面向边缘AI的一站式开发平台Reality AI,帮助开发者在云端构建专属的模型,并在本地边缘节点上完成部署。同时,瑞萨还联合超过250家生态合作伙伴合作,共同打造完善的边缘AI生态系统,为客户提供丰富的软件库和解决方案。”
典型的工业应用
“MCU+AI”的应用场景主要分为时间序列信号分析、图像识别、声音识别等。
时间序列信号分析:获取电流,电压,温度,压力,声音,多轴加速度传感器,生物传感器等多种基于时间序列的变量,可用于预测性维护、扭矩计算、工业探伤、电弧检测、电池电芯寿命预测等。
值得一提的是,太阳能及供电系统中的电弧检测应用是“MCU+AI”在工业领域非常典型的时间序列信号分析应用。当接触发生时,高压导线或触点间常常会产生电弧现象,这一潜在危险源可能引发火灾,因此,对电弧的有效检测与预防显得尤为重要。
众多芯片厂商的“MCU+AI”产品都可以提供电弧检测的解决方案:德州仪器集成NPU的TMS320F28P55X实时控制MCU,边缘AI技术用于实时检测电弧,提高电弧检测的准确率和实时性,其在太阳能及供电系统中的电弧检测的准确率可高达99%;兆易创新基于GD32H7的AI直流拉弧检测方案,克服了多路高频信号采集、资源受限环境中的高效AI推理、以及模型训练与部署一体化的技术难点,自研AI算法与硬件优化,能够对直流拉弧进行精确识别和实时响应,降低了因系统故障或错误检测带来的维修和维护成本。
同时,人工智能与预测性维护的结合已成为提高工业设备生命周期的一种变革,预测性维护也是“MCU+AI”在工业领域的典型应用。通过算法分析实时数据,各行各业都能在设备故障发生之前对其进行预测,减少停机时间并显著降低维修成本。
在工业自动化的生产线上,意法半导体的STM32N6可以对生产设备的运行状态进行智能监控,通过传感器收集的数据,快速分析设备是否存在故障隐患。例如,在电机运行过程中,检测其温度、转速、振动等参数,一旦发现异常,及时调整参数或者发出停机指令,避免设备损坏和生产事故的发生,从而极大提高生产效率和保障生产安全。
极海半导体高级市场经理赵亮表示:“在商用打印机售后维护的应用案例中,通过在关键设备上安装温度、振动等传感器,基于Arm架构的边缘计算G32R501实时控制MCU,可实时收集并分析这些数据,并利用内置的机器学习模型,识别出可能导致的故障模式,并在问题发生前发出预警信号。可以显著降低因设备故障导致的非计划停工时间,提高生产效率。”
极海半导体高级市场经理赵亮
图像识别:如人脸识别,手势识别,人数统计,产品缺陷识别,物流仓储管理等。由于MCU的低功耗和实时性,针对这些场景,可以实现灵活的休眠唤醒方式,可以采用小型电池长时间工作。
值得关注的是,在端侧AI的场景中,恩智浦于2021年就推出了eIQ® Toolkit工具包,可以使用户快速地开发基于图像任务的软件程序。
恩智浦半导体高级市场经理弋方表示:“恩智浦的i.MX RT700系列跨界MCU,在图像方面集成了新一代的图像加速器包括硬件JEPG/PNG解码,矢量图像处理,以及MIPI-DSI显示接口,广泛适用于人机交互、医疗、消费电子等诸多场景。”
恩智浦半导体高级市场经理弋方
声音识别:如关键词唤醒,简单的语义识别,以及噪声消除,人声消除等算法。在工业领域,可以用于人机交互,特殊声音信号检测等。
兆易创新的GD32H7可以很好的支持声音识别应用,基于GD32H7的AI语音识别解决方案,依托Sensory平台实现高效的关键词训练,支持多语言、多关键词的识别能力,还能将关键词检测的结果通过LCD屏显示。该方案能够在MCU端侧部署轻量化模型,具备实时语音处理功能,包括精准的人声检测与噪声抑制,有效保障用户指令的准确识别和响应。
写在最后
2024年头部MCU厂商在“MCU+AI”领域成果显著。随着人工智能技术的持续进步,未来“MCU+AI”产品将在工业4.0进程中发挥更为重要的作用,进一步推动传统工业设备的智能化和自动化转型,提升工业效率,降低成本,确保稳定运行。