边缘智能发展进步之迅速,往往与人类智慧的不断进步密不可分。边缘质能的发展状况已然非常喜人;边缘设备能够感知它们所处的环境,同时处理不同的输入信息,并推测它们的操作将会带来的结果。这似乎已经接近十几岁孩子的智力水平。不过目前边缘智能技术刚开始起步,它的发展前景令人期待。利用机器学习(ML)和神经网络等方面技术的进步,开发人员创建了丰富多样的应用,包括工业机器视觉、图像分类、对象检测、语音识别、自然语言处理、手势和情绪检测等,这些应用改变了我们生活、工作和学习的方式。很多创新的机器学习技术部署在边缘设备上,提高了我们的住宅、办公室、工厂、城市的安全性、智能化程度和便利性。
机器学习相当于利用计算引擎来处理复杂的人工任务,但速度更快,甚至能够自主运行,无需人为的直接干预。运行机器学习应用时,需要执行海量的数学运算,总计达到每秒数万亿次。以前,机器学习需要成本昂贵而又复杂的云计算,也就是“基于云的人工智能”。但现在,很多机器学习操作可在网络边缘进行,在这里,智能互连设备提供更快的运行时响应、更低的延迟(即数据无需在设备和云之间往返传输),可靠性、私密性和安全性更出色。
基于边缘的机器学习当前采用的核心引擎通常是功能强大的多核处理器,具有丰富的特性和功能,可以进行神经网络、视觉、语音和多媒体的处理,所有这些工作都需要在单个片上系统(SoC)上进行。而我们现在可以很高兴的宣布,恩智浦的i.MX 8M Plus应用处理器系列对全球各地的用户正式实现量产。i.MX 8M Plus是恩智浦EdgeVerse™产品组合的新成员,也隶属于恩智浦高性能应用处理器i.MX 8系列。
我们在i.MX 8M应用处理器中集成了开发人员所需要的异构多内核、子系统和丰富的接口,并提供多种组合可供用户选择。i.MX 8M Plus是恩智浦首款集成了专用神经处理单元(NPU)的应用处理器,可大大加快工业和物联网(IoT)边缘的机器学习推理。同时它还集成了双图像信号处理器(ISP)、四个或两个工作频率高达1.8 GHz的Arm® Cortex-A53内核、配以主频800 MHz Cortex-M7内核作独立的实时控制、另外还集成了用于实现语音和自然语言加速的800 MHz HiFi 4音频DSP、高精度图形处理单元(GPU)。由此,开发人员可将机器推理功能转移到NPU上执行,同时结合Cortex-A和Cortex M内核、DSP和GPU的强大性能,以执行其他复杂的系统级或应用任务。
i.MX 8M Plus应用处理器框图
i.MX 8M Plus应用处理器能够实现相对完善的机器学习和多媒体功能,利用双摄像头ISP和八个麦克风输入,提供灵敏的机器视觉和语音识别能力。此外,双CAN-FD和双千兆以太网接口让它拥有了稳定的网络控制能力,i.MX 8M Plus还集成了时间敏感网络(TSN),以支持一系列工业自动化设计。内存的纠错码(ECC)技术能够保护内部存储器,对于要求苛刻的工厂车间应用,有助于确保高可靠性。
在边缘部署机器学习
采用i.MX 8M Plus处理器,开发人员能够将机器学习工作负载转移到网络边缘的终端设备,无论是语音、视频或异常检测,网络边缘都是接收信息最近的节点。开发人员可以利用片上NPU来处理机器学习任务,其性能达到2.3万秒次运算每秒(TOPS),处理机器学习相关任务,速度比Arm内核快大约30倍。通过在压缩和稀疏性方面进行优化(即消除不必要的乘零计算),进一步增强机器学习算法的性能表现。数据压缩也是非常有用的,因为它可消除系统存储器瓶颈,同时存储器和DRAM控制器都能达到4千兆每秒(GT/s)的传输速率。
您机器学习的解决方案
基于边缘的机器学习应用通常包括一类与摄像头图像数据相关的机器视觉应用。但如果高分辨率摄像头距边缘设备有一定距离的话会如何?对基于i.MX 8M Plus的设备来说,这不会造成任何问题。为了最大程度减少延迟和成像质量下降,i.MX 8M Plus采用专用的ISP模块处理图像加速,同时两个摄像头输入实现了立体影像,模仿人的左眼和右眼结合的视觉表现。
i.MX 8M Plus所集成ISP提供足够的处理能力,以处理复杂的图像处理任务,例如高动态范围(HDR)的快速多重曝光、来自两个不同摄像头的同步广角和缩放视图。广角鱼眼畸变校正也是由ISP处理的另一项重要功能。采用鱼眼镜头的低成本摄像头可能让图像产生畸变,进而无法识别。i.MX8M Plus处理器的广角鱼眼畸变校正引擎可对图像进行标准化,以便进行精确的机器学习识别与处理。ISP还能够处理图像增强,例如“图像降噪”,这种功能在低光照环境下至关重要,因为低光照会导致图像模糊。使用机器学习算法,ISP能够检测需要锐化和降噪的图像部分,而让其他图像区域保持自然模糊。对于高级多媒体和显示应用,i.MX 8M Plus包括视频解码器/编码器,支持H.265压缩算法,可以离线存储大图像,以便日后处理。
工业级机器学习的理想解决方案
i.MX 8M Plus应用处理器针对工业应用进行一系列优化,包括ECC,它是用于检测和纠正系统存储器位错误的必备功能。例如,阿尔法粒子是在某些环境中出现的一种放射物,可能诱发SRAM中的软错误,引起存储器问题,导致软件崩溃。ECC算法可以检测和纠正这些错误,从而显著降低软错误率(SER)。
i.MX 8M Plus支持工业自动化的TSN以太网连接
很多复杂工厂流程都需要能够精确把控时间的以太网数据传输。为此,i.MX 8M Plus支持TSN以太网连接,有助于保证数据在正确的时间进行传输,以支持工厂车间针对时间敏感型的要求。另外,两个CAN-FD外设支持低延迟通信和网络功能。与其他所有片上内核、外设和接口组合在一起,i.MX 8M Plus可用于构建功能全面的工业系统,为工业4.0提供一系列基于边缘的机器学习功能。
i.MX 8M Plus处理器的强大生命力
虽然电子行业不断演进,但我们始终需要产品在相对极端的环境下保持可靠性和稳定工作,并且保证产品持续供应。i.MX 8M Plus应用处理器是恩智浦长期供货保证计划的一部分,自产品发布之日起,提供至少15年的生产供应。因此在未来的很多年内,您可以依赖i.MX 8M Plus处理器来运行机器学习应用。
恩智浦利用多种音频板、摄像头模块和评估套件,以及包含合作伙伴工具和解决方案的丰富生态系统,为i.MX 8M Plus的机器学习、视觉、多媒体和工业物联网应用提供支持。现在您就可以立即订购i.MX 8M Plus评估套件开始您的设计。