974
快乐的是AI将改写一切，带来机遇；痛的是AI演进的速度太快，模型和应用层出不穷。
在8月27日举行的elexcon2024深圳国际电子展上，ARM VP, China GTM, loT&Embedded Line of Business Chloe Ma发表了关于《加速边缘人工智能创新》的演讲。
我们捕捉了以下关键信息：
AI在边缘落地的速度惊人
不会止步：ARM Flexible Access
随着ChatGPT的兴起以及大模型和生成式AI（GenAI）的迅猛发展，大模型助力于千行百业的自动化转型和新质生产力的提升。
AI正以前所未有的速度改变着人们的生活和工作方式。从Netflix到TikTok（抖音），再到ChatGPT，用户增长的速度不断刷新纪录。特别是ChatGPT仅用五天时间就达到百万用户，两个月内轻松突破亿级大关，这一壮举充分展示了AI技术的巨大潜力和市场接受度。随着AI模型和计算芯片技术的不断突破，AI算力正迅速向边缘设备渗透，为智能手机、PC以及自动驾驶、机器人等新型计算领域带来革命性变化。
Chloe Ma表示，这种飞速发展的背后，是AI强大的技术支撑。AI模型和计算芯片技术的突破，以及对实时响应成本、用户体验以及安全隐私的诉求，都让AI算力迅速地扑到了边缘设备。
针对边缘AI的发展，当前传感器主要承担信息采集任务，边缘网关尚不支持AI大模型，但这一状况正在迅速改变。随着AI PC和IoT网关加载的算力不断提升，边缘AI已展现出巨大潜力。未来，传感器将支持更多模态，并具备简单的智能数据分析能力，而复杂的数据分析和决策规划将实现云、边、端的协同调度，整体AI算力水平将显著提升。
ARM作为全球领先的计算平台提供商，正在积极赋能边缘AI的创新。ARM在硬件、软件和生态三个方面持续发力，推出了包括Cortex-m嵌入式处理器、Cortex-a应用处理器以及Ethos边缘AI加速器在内的多款产品，以满足不同场景的AI算力需求。同时，ARM还加强了CPU的矢量或矩阵处理能力，并在软件和工具链方面加大投资，以帮助开发者轻松释放AI硬件的潜力。
硬件创新：强化算力，保障安全
Chloe Ma强调了ARM在硬件领域的深厚积累。她指出，ARM的Cortex-m嵌入式处理器与Cortex-a应用处理器为边缘AI提供了强大的算力支持。面对万物互联带来的安全挑战，ARM推出了TrustZone等安全技术，为敏感数据和操作提供了坚实的保护屏障。此外，针对AI推理需求的激增，ARM不仅增强了CPU的矢量与矩阵处理能力，还创新性地推出了Ethos边缘系列AI加速器，进一步满足了高性能、复杂AI工作负载的需求。
ARM的Ethos NPU是世界上首款的嵌入式AI加速器。目前已经被英飞凌、恩智浦、Olive、奇景光电、Alif Semiconductor 和 Synaptics 等领先厂商的芯片所采用。从第一代的Ethos-U55到最新的U85，不仅在性能和能效上有显著提升，而且还实现了对新的算子以及transformer等神经网络的原生支持。Ethos系列NPU提供了一致的工具，那么可以为边缘AI生态带来无缝的开发者体验，使合作伙伴能够重复利用在ARM AI上的投资。
软件与工具链：赋能开发者，优化AI部署
在软件与工具链方面，Chloe Ma介绍了ARM为开发者提供的全方位支持。从ARM虚拟硬件到IP Explorer，再到ML Influence Adviser、ML Zoo模型库及ML Evaluation Kit等工具，ARM为开发者构建了一个从设计到部署的高效流程。
同时，ARM还支持多种主流的ML开发框架，包括pywatch、ONMX 、TensorFlow 和 TensorFlow Lite以及中国本土的百度飞桨等，并针对不同硬件目标提供优化的ML编译器和runtime，确保ML模型在不同硬件上的最优化运行。特别值得一提的是，ARM倡导的TOSA（tensor operator set architecture）开放标准正逐步简化训练环境到不同硬件平台的部署过程，为AI技术的普及应用铺平了道路。
近期ARM和meta进行合作，通过ExecuteTorch将PyTorch引入基于ARM架构的边缘侧移动和嵌入式平台。ARM与meta的合作就是依托于ARM在TOSA方面巨大的投入。
生态构建：加速芯片开发，推动市场应用
在构建开放生态方面，ARM致力于将丰富的处理器IP及系统IP实现预先集成和验证，以Core Stone参考设计子系统的形式提供给合作伙伴。这些参考设计不仅缩短了开发周期，降低了开发成本，还助力合作伙伴快速推出符合市场需求的边缘AI产品。同时，ARM还与英伟达合作，将Ethos NPU等创新技术应用于实际产品中，进一步推动了边缘AI技术的商业化进程。
Chloe Ma表示，只有ARM才能提供从云到端，现代敏捷开发部署流程中所需要的特性和功能。使大家可以在基于量产验证的一致架构和统一的工具链上进行AI转型。
在过去的一两年大模型兴起的过程中，ARM看到了整个业界的迅猛发展。业内都处于一种“痛并快乐”的状态中。“快乐”的是AI将改写一切，带来机遇。AI基本上会让所有领域的芯片软件都重组一遍。“痛的”是AI演进的速度太快，模型和应用层出不穷。对芯片设计公司来说，就是如何选赛道、定规格，加速产品的开发和上市，产生差异化。在这个AI的淘金潮中，ARM的计算平台可以提供一套简单易用并且通用的普世的利器。能够把从云到端，非差异化的部件做好做精，让大家用着顺手，挖掘所发现的AI金矿。
为了让广大开发者更容易地访问和使用ARM技术，降低开发门槛，ARM在过去几年中不断探索创新的商务模式。Chloe Ma特别介绍了ARM Flexible Access（AFA）计划，这一模式在海外已广受好评，并在中国市场正式落地。AFA类似于Costco的会员制服务，开发者只需支付极低的年费，即可无限制地访问ARM提供的丰富资源，包括Cortex-A、R、M系列CPU处理器、Ethos-U NPU、ML GPU和ISP参考设计，以及仿真平台和工具链等。开发者可以根据自己的产品需求，自主选择合适的IP组合进行设计和优化，并在产品量产或流片时结算所选IP组合的授权及后续费用。这种灵活的商务模式极大地降低了开发成本，加速了产品上市进程，受到了包括树莓派在内的众多开发者的热烈欢迎。
最后，Chloe Ma总结到，人工智能的普及以及大模型和生成式AI的迅猛发展，为物联网生态系统的合作伙伴们带来了前所未有的机遇。ARM凭借其丰富的生态资源、领先的技术实力和广泛的行业影响力，将全力支持合作伙伴把握边缘AI的机遇，推动智能技术的广泛应用。她坚信，只有云、边、端三者紧密结合，才能构建起无所不在的智能世界。
目前，全球约90%的AI运行在基于ARM架构的CPU上，这一数字不仅彰显了ARM在全球计算平台中的领先地位，也预示着ARM将在未来继续引领AI计算的潮流，与生态伙伴共同释放AI前所未有的规模潜力。*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。
下载ECAD模型
