作者:李宁远
在当前 AI 革新的推动下,千行百业正在发生深刻的变革。AI 已经触及我们生活的方方面面。而且,我们仅仅处在这场 AI 革新的起步阶段,未来可期。
在 AI 百模大战时代,焦点在云数据中心的集中式训练。但是训练本身不能产生价值,推理才是 AI 释放价值的关键。当前,AI推理的热潮正迅猛推动算力从云端向边缘侧及端侧延伸。对于芯片硬件玩家来说,边缘侧形态各异的设备与丰富用例带来更多激动人心的机会,而且大模型、智能体在边缘侧的落地需要具备更高性能和能效的边缘计算平台。
在AI 不断赋予边缘设备越来越先进的智能性,使边缘设备胜任越来越重要的任务的同时,保证边缘设备的安全可靠将会成为边缘 AI 大规模部署的必要条件。
针对物联网与 AI 融合发展所面临的行业痛点,特别是在性能瓶颈、安全性保障、系统兼容性以及应用灵活性等方面的挑战,2月27日,Arm 发布以全新基于 Armv9 架构的超高能效 CPU —— Arm Cortex-A320 以及对 Transformer 网络具有原生支持的 Ethos-U85 AI 加速器为核心的 Armv9 边缘 AI 计算平台。
在日前举行的新品技术沟通会上,Arm 物联网事业部业务拓展副总裁马健 (Chloe Ma) 表示,“Armv9 边缘AI计算平台不是 CPU 和 AI 加速器的简单堆叠,而是实现了深度配合,让 CPU 和 NPU 相得益彰。Cortex-A320 可以为 Ethos-U85 提供更高的内存容量与带宽,让大模型在 Ethos-U85 上的执行如虎添翼;任何开发者们不希望在 Ethos-U85 上运行的 AI 操作,可以回退到 Cortex-A320,利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。这使智能物联网与消费类电子生态系统能够在正确的时间,并在合适的地方运行最适合的工作负载。我们相信,这一创新将推动边缘 AI 领域在未来多年内的持续发展。”
Arm Cortex-A320 是目前最小型的 Armv9-A 架构 CPU,其微架构源自 Cortex-A520,并经过显著优化,以改善面积和功耗。相较 Cortex-A520 ,Cortex-A320 的能效提高了 50% 以上,此外,通过对 BF16 等新的数据类型、新的点积和矩阵乘法指令的支持,Cortex-A320 的 ML 性能比目前全球最受欢迎的 Armv8-A CPU Cortex-A53 高出至多六倍。凭借ML 计算能力的大幅提升,以及极高的面积能效比,Cortex-A320 成为ML 应用中最高能效的 Cortex-A CPU 核心。
Armv9边缘 AI 计算平台将 Cortex-A320 的革新功能带到了边缘侧,通过可伸缩向量扩展 (SVE2) 等关键的 Armv9 特性,增强了 AI 和数字信号处理 (DSP) 性能;同时,它还利用了内存标记扩展 (MTE) 以及通过 Secure EL2 (S-EL2) 提供的先进虚拟化支持等全面的安全特性。这些功能与 Cortex-A320 高能效的微架构相结合,使其能够维持严格的能耗预算,并同时为边缘 AI 处理开创新的可能性。
在软件兼容性与生态上,Armv9 也有诸多优势:
支持 Armv9 架构的软件可无缝运行在所有这些处理器上,极大降低了物联网服务部署与交付的总体拥有成本 (TCO)。
开源操作系统项目和编译器已支持 Armv9 特性,进而大幅缩短产品开发周期。
软件发行版本在整个 Armv9 架构设备内保持兼容,这不仅简化了开发流程,同时也减少了物联网生态伙伴在解决方案交付上的整体成本。
马健总结道:“Arm 此次发布的全新 Armv9 边缘 AI 计算平台不仅仅是一次渐进式的升级,它代表了我们为未来边缘计算和 AI 处理提出的新范式。Cortex-A320是我们首次专为物联网应用设计的 Armv9 架构处理器,它将超高能效与先进 AI 能力相结合,实现了前所未有的突破。当它与 Ethos-U85 结合时,将催生出全新的应用类别,开启无限可能。物联网领域正在迎来前所未有的机遇与生机!我们坚信,AI 的未来在边缘,而边缘 AI 的未来属于 Arm”。
物联网与 AI 的融合正在推动算力下沉到边缘侧,而在物联网 + AI领域快节奏的技术环境中,产品的上市速度往往决定其成败。Arm的边缘 AI 计算平台确保了与更高性能 Cortex-A 处理器在软件层面的无缝兼容,这不仅代表了边缘计算平台的一次技术进步,更代表着行业对边缘计算和 AI 处理方式上的根本性变革。