对算力芯片来说,最根本的追求就是计算效率,因此优良的能效比一直是提升计算能力的关键。当前,将内存和计算更紧密地结合在一起的存算一体方案,正获得越来越多的关注,并逐步由研究走入商用场景中。
存算一体架构优势
在传统的冯·诺依曼架构中,由于计算与存储分离,计算过程中需要不断通过总线交换数据,将数据从内存读进CPU,计算完成后再写回存储。而随着深度学习的发展和应用,计算单元和存储单元之间的数据移动尤为频繁,数据搬运慢、搬运能耗大等问题成为了算力效能进一步提升的关键瓶颈。从处理单元外的存储器提取数据,搬运时间往往是运算时间的成百上千倍。
特别是大算力场景下,存算分离带来的计算带宽问题已经成为主要瓶颈。以智能驾驶等边缘端高并发计算场景来看,它们除了对算力需求高之外,对芯片的功耗和散热也有很高的要求。而常规架构的芯片设计中,内存系统的性能提升速度已经大幅落后于处理器的性能提升速度,有限的内存带宽无法保证数据高速传输,无法满足高级别的计算需求。
存算一体的架构特点,简言之就是在存储单位内部完成部分或全部的计算。从架构层面,它可以实现两个天然优势:由于计算和存储两个部分更近,减少了不必要的数据搬移,因此延时低、效率高。
后摩智能鸿途H30,开启存算一体规模化应用新篇章
日前,后摩智能首款存算一体智驾芯片鸿途H30正式发布,最高物理算力256TOPS,典型功耗35W,成为国内率先落地存算一体大算力AI芯片的公司。
后摩智能创始人兼CEO吴强在发布会上表示:“2年前,后摩智能成立,我们坚定地选择以存算一体的底层架构创新,来实现AI计算效率的极致突破。存算一体架构将存储和计算功能融合,比传统架构更接近人脑的计算方式,具备远高于传统方式的计算效率。随着 GPT等大模型的出现,存算一体芯片越来越受到行业关注,我们很高兴看到更多创业公司加入进来,与我们一起推动硬科技的创新与应用。”
据介绍,基于鸿途H30已成功运行常用的经典CV网络和多种自动驾驶先进网络,包括当前业内最受关注的BEV网络模型以及广泛应用于高阶辅助驾驶领域的Pointpillar网络模型。以鸿途H30打造的智能驾驶解决方案已经在合作伙伴的无人小车上完成部署,这是业界第一次基于存算一体架构的芯片成功运行端到端的智能驾驶技术栈。
H30芯片基于天枢架构,通过多核、多硬件线程的方式扩展算力,实现了计算效率与算力灵活扩展的均衡,AI计算可以在核内完成端到端处理,保证通用性。在 Int8数据精度条件下,其AI核心IPU能效比15Tops/W,是传统架构芯片的7倍以上。
据陈亮介绍,鸿途H30 以存算一体创新架构实现了六大技术突破,即大算力、全精度、低功耗、车规级、可量产、通用性。鸿途H30基于SRAM存储介质,采用数字存算一体架构,拥有较低的访存功耗和较高的计算密度,在Int8数据精度条件下,其AI核心IPU能效比达到15Tops/W,是传统架构芯片的7倍以上。
继第一代 IPU(处理器架构)之后,第二代天璇架构已经在研发中,将采用Mesh互联结构,可根据应用场景的不同配置计算单元的数量,整体性能、效率和灵活性将进一步提升,支持多场景应用,例如成本和功耗敏感的智能终端、大模型等场景。第三代天玑架构已经开始规划,将为万物智能打造。
全栈支持,高效赋能智能驾驶
后摩智能联合创始人兼产品副总裁信晓旭对鸿途H30的产品性能与优势做了详细介绍。得益于存算一体的架构优势,鸿途H30基于12nm工艺制程,在Int8数据精度下可以实现256TOPS的物理算力,所需功耗不超过35W,SoC能效比达到 7.3Tops/W,具有高计算效率、低计算延时、低工艺依赖等特点。
在实际性能测试中,鸿途H30基于Resnet 50模型的Benchmark,在Batch Size等于1和8的条件下分别达到了8700帧/秒和10300帧/秒的性能。
为了更好地实现车规级应用,后摩智能基于鸿途H30自主研发了硬件增强机制和检测机制,在提升芯片可靠性的同时,进一步保障了功能安全性。
此外,后摩智能推出了基于鸿途H30打造的智能驾驶硬件平台力驭,该平台CPU算力达200 Kdmips,AI算力达256Tops,支持多传感器输入,能够为智能驾驶提供更充沛的算力支持,进一步提升了系统的可靠性。力驭平台功耗85W,可采用更加灵活的散热方式,实现了更低成本的便捷部署,有利于推动大算力智能驾驶场景的普及应用。
为了让客户拥有更好的产品使用体验,后摩智能还基于鸿途H30芯片自主研发了一款软件开发工具链——后摩大道,支持 PyTorch、TensorFlow 、ONNX 等主流开源框架,编程兼容 CUDA 前端语法,同时支持 SIMD 和 SIMT 两种编程模型,兼顾运行效率和开发效率,以无侵入式的底层架构创新保障了通用性的同时,进一步实现了鸿途H30 的高效、易用。
信晓旭透露,鸿途H30将于6月份开始给Alpha客户送测。同时,后摩智能的第二代产品鸿途H50已经在全力研发中,将于2024年推出,支持客户2025年的量产车型。
专注底层创新,打造极致效率的计算芯片
中国电动汽车百人会副理事长兼秘书长张永伟在会上表示,智能驾驶市场规模庞大,仍处于加速渗透的阶段,为新技术和新企业提供了创新发展的巨大机遇。存算一体作为一种创新技术,对工艺制程依赖度较低,是智能驾驶芯片具有前瞻性的一种选择。
吴强认为,鸿途H30的发布具有三大意义:首先,许多机构都预测2023年将是存算一体大规模商业落地的元年,H30作为国内首款存算一体大算力芯片,也是国内首款存算一体量产的智能驾驶芯片,它的发布标志着这个商业化元年的开启。
其次,汽车电动化和智能化是国家的重点发展方向,行业客户急需更多的优质国产芯片选择。H30使用了新的技术路线,标志着行业又增加了一个差异化的国产芯片选择。
第三,在今天的国际大环境下,如何能用不依赖于先进工艺,依然能做出大算力的高精尖的芯片,是国产芯片自主可控重要的探索和发展方向。H30通过本身的架构创新,实现了对先进工艺依赖弱的特点,向着完全国产自主方向又前进了一步。
他强调,在人工智能技术飞速发展的今天,高效的AI计算能力成为智能驾驶普及应用的重要基石。后摩智能以底层技术创新为驱动力,采用存算一体架构突破芯片算力和功耗的瓶颈,实现了芯片能效比的阶跃,为快速发展的智能汽车产业带来了全新的解决方案。下一个目标,希望用两年时间把技术和产品做得更加扎实,在乘用车和商用车智驾领域深耕,用差异化产品赋能客户,实现智驾芯片大规模商用,成长为国内的头部企业。