TinyML是一种微型或小规模的人工智能技术,可以在资源受限的微控制器(MCU)上运行,具有低延迟、低功耗、低成本等特性,可以实现关键词检测、异常判断、物体识别等人工智能的推理工作。
微控制器(MCU)厂商并购人工智能公司布局TinyML
2021年5月,意法半导体收购边缘AI软件专业开发公司Cartesiam。
Cartesiam是一家软件公司,专门从事人工智能(AI)开发工具研发,让基于Arm®的微控制器具有机器学习和推理能力。采用Cartesiam技术的产品数量已达数十亿。公司开发团队由数据科学家和嵌入式信号处理专家组成,在开发标准和定制解决方案方面具有丰富的经验。NanoEdge™AI Studio是其获得专利的旗舰解决方案,让没有AI知识背景的嵌入式系统设计人员也可以快速开发专用的软件库,将机器学习算法直接集成到各种应用系统。含有Cartesiam技术的设备已经在全球量产,包括物联网设备、家用电器和工业设备。
2022 年 7 月,瑞萨电子收购了嵌入式AI解决方案优秀供应商Reality Analytics, Inc.(Reality AI),成为了瑞萨电子的间接全资子公司。
Reality AI是一家美国公司,为汽车、工业和消费类产品中的高级非视觉传感提供广泛的嵌入式AI和微型机器学习(TinyML)解决方案。将Reality AI卓越的AI推理技术与瑞萨电子广泛的MCU和MPU产品相结合,将实现机器学习和信号处理的无缝衔接。此次收购将使瑞萨电子能够扩展其用于人工智能应用的工具套件和软件产品,并提高瑞萨电子自身提供高度优化的软硬件结合的端点解决方案的能力。
2023 年 5 月 ,英飞凌宣布已收购TinyML初创企业Imagimob公司。
Imagimob致力于为边缘设备的机器学习提供端到端的开发平台。Imagimob的平台支持诸如音频事件检测、语音控制、预测性维护、手势识别、信号分类、材料检测等各种用例,并将进一步扩展英飞凌的软硬件生态系统。合并之后,将双方的专业知识相结合并应用于完整的传感器产品组合,将能够为两家公司现有的客户提供跨产品的统一用户体验,助力客户快速部署强大的解决方案,并加速TinyML在所有应用和领域的进一步普及。
2023 年 8 月,Nordic公司宣布收购美国人工智能和机器学习公司Atlazo。
Nordic公司计划在未来的SoC中采用Atlazo的超低功耗AI/ML处理器技术,从而增强Nordic公司在许多垂直市场的业务和技术产品。随着 Atlazo 传感器技术在健康应用领域的集成,Nordic 可以更好地服务于不断扩大的智能健康市场,包括光学心脏监测、连续血糖监测和其他可穿戴技术。
另外,除直接并购TinyML公司之外,还在产品和TinyML工具上增强其在TinyML应用上的能力。如ST将推出集成NPU的STM32N6,NXP推出了集成一个DSP协处理器和神经处理单元(NPU)的MCX产品组合,Microchip提供 MPLAB 机器学习开发套件来提升其产品的机器学习能力。
布局TinyML的路径
从目前各微控制器(MCU)厂家和业界的应用情况来看,布局TinyML的路径大致有以下三个:
TinyML工具
集成神经网络处理器(Neural Processing Unit,NPU)协处理器
TinyML平台
相对于大语言模型来说,TinyML 是一种小的或极小规模的机器学习。TinyML本身是一种软件算法,是对数据分析和处理的一种计算处理方法,通过构建机器学习模型来进行推理,业界也有一些通用的TinyML机器学习模型。TinyML需要借助软件和工具对采集来的数据进行分析和处理、推理和验证等。在不断地对模型进行优化处理后,还需要将将其转换为微控制器(MCU)这类性能较弱、资源较少的微控制器(MCU)可以运行的固件。TinyML工具有助于人工智能的开发应用,让复杂的人工智能软件的开发变得简单快捷。
NPU是一种神经网络单元,专用于神经网络的计算,随着人工智能应用对计算资源的需求越来越高、任务越来越复杂,对神经网络的计算需求要求也越来越高,微控制器(MCU)中的ALU(算术运算单元AU和逻辑运算单元LU)不足以支持复杂的神经网络的计算需求,将NPU硬件化并集成在微控制器(MCU)内部作为协处理器,可以大大提升人工智能应用的计算效率。NPU实质上也是一种专用的硬件计算单元。
一般地,基于微控制器(MCU)设计开发的产品,其固件可以用几年,甚至到其生命周期才结束。固件在其验证稳定后一般不再需要更改。随着产品部署规模的不断扩大,产品不断地迭代更新,需要对微控制器(MCU)中的固件进行更新,通过一个平台可以对设备进行较好的管理和维护。而TinyML平台不仅需要对固件进行迭代升级,还可以对数据进行收集、机器学习模型不断地进行训练,不断地优化模型,使得模型的精度越来越高。另一方面,本地的微控制器(MCU)的计算资源,不足以支持大量数据的存储和对模型训练优化等任务。TinyML需要一个高性能的计算平台来支撑人工智能产品的不断迭代。
结束语
从设备的智能控制到自主的智能化,市场需求在不断地推动着技术和产品的创新发展。云端的人工智能将会下沉到边缘上,人工智能的应用也会更加接“地气”,从而可以形成云边协同分布式计算的人工智能,赋能各行各业。TinyML一般会应用到边缘或极边缘的传感器或设备上,不仅可以通过采集处理数据,还可以做一些简单的推理,使得传感器或设备更加自主智能。
TinyML人工智能算法的运行离不开计算的硬件 - 微控制器(MCU),借助TinyML工具、NPU的硬件加速以及平台化的部署,大大提升微控制器(MCU)产品的计算效能,为人工智能应用开辟了新的发展市场。众多微控制器厂商的共同参与,也为市场提供了更多更具创新的产品或解决方案。这也将为“兼容机”时代的微控制器(MCU)带来了新的发展机遇,必将会开启新一个赛道。