福布斯中国在上海浦东香格里拉大酒店隆重举办了2024福布斯中国人工智能科技企业峰会。在此次盛会上,爱芯元智凭借其卓越的技术创新和市场影响力,从众多竞争者中脱颖而出,成功登上福布斯中国人工智能科技企业TOP50榜单。这一殊荣不仅是对爱芯元智在人工智能领域所取得成就的高度肯定,也标志着其在推动智能科技进步和普惠方面的领先地位。
公开资料显示,爱芯元智半导体股份有限公司成立于2019年5月,致力于打造世界领先的人工智能感知与边缘计算芯片,拥有爱芯智眸AI-ISP和爱芯通元混合精度NPU两大核心自研技术,广泛服务于智慧城市、智能驾驶、机器人以及AR/VR等巨大的边缘和端侧设备市场。
其中,爱芯元智混合精度NPU“爱芯通元”正式亮相于去年7月,其第三代人工智能芯片AX650N在端侧和边缘侧部署Transformer的领先优势公之于众。这款NPU采用多线程异构多核设计,专为高效支持混合精度算法而打造,原生支持Transformer网络结构,为大模型在边缘侧和端侧的应用提供了坚实的基础。爱芯通元混合精度NPU以算子为原子指令集,可编程数据流架构,实现算子、网络微结构、数据流和内存访问的优化,大幅提升了能效比。其在运行SwinT模型时,量化精度达到了高于市面平均水平的80.45%,并且具有416 FPS的高性能和199 FPS/W的低功耗表现,显著领先于同类产品。此外,爱芯通元NPU还提供了成熟易用的编译器,极大降低了AI软件的开发和部署成本,使客户能够在一小时内快速上手,推动AI计算的蓬勃发展。
爱芯元智自研的爱芯智眸AI-ISP结合爱芯通元混合精度NPU,颠覆了传统图像处理技术,不仅极大提高了AI识别率,还解决了低照和宽动态成像的难题,实现了黑光全彩成像,并显著降低了设备的综合成本。
截至目前,爱芯通元NPU完成了多个主流大语言模型的适配,包括Llama 3、Phi-3-mini、Llama 2、TinyLlama、Phi-2、Qwen1.5和ChatGLM3等,在高效支持复杂AI任务的同时,确保了大模型技术在端侧和边缘侧的普及。AX650N对Llama 3 8B Int8版本的适配以及Int4量化处理进一步提升了每秒token处理数,满足了流畅的人机交流需求。这一系列突破源自爱芯元智团队对NPU工具链的持续优化,确保了大语言模型在其平台上的高效运行。
作为AI处理器,爱芯通元NPU通过在不同精度级别上分配计算任务,提升硬件利用率和计算吞吐量,缩短AI-ISP在图像信号处理中的推理时间,实现实时或近实时的图像分析和理解。其系统级集成设计简化了架构,减少了数据传输开销,提高了整体系统的集成度和效率。爱芯通元NPU还支持混合精度计算,使高精度模型可以经过量化后在低精度模式下运行,增强了AI-ISP对预训练模型的兼容性,便于快速部署和更新算法。
爱芯通元NPU不仅实现了在端侧和边缘侧高效部署AI大模型的目标,还通过减少内存墙和功耗墙的阻碍,在有限的面积和功耗下提供了更高的有效算力。这一突破性进展将大大降低AI部署成本,使更多行业能够受益于先进的人工智能技术,加速智能助手在终端设备上的普及,推动AI技术在智慧城市、智能驾驶和AIoT等领域的广泛应用。爱芯元智的创新不仅体现了其在AI芯片领域的领导地位,也展示了其助力各行各业实现智能化转型的坚定承诺。
爱芯元智的创新不仅体现在技术上,也体现在其市场应用中。爱芯元智的前端IPC芯片已成功移植并优化了市场上主流算法,实现了与后端芯片的无缝对接,并与成熟的算法厂商深度合作,打造出易于复制、快速部署的解决方案。
在创新的征途上,爱芯元智将继续秉承“普惠AI造就美好生活”的理念,深耕AI技术,不断推动端侧和边缘侧的智能化、精准化和高效化。随着5G技术的普及和物联网(IoT)设备的增多,端侧AI的应用场景也在不断扩展。从智能家居到工业自动化,从智能交通到智慧城市,端侧AI正在成为连接物理世界和数字世界的桥梁。爱芯元智也将致力于构建开放、合作、共赢的生态系统,与各方伙伴携手,共同开拓AI技术的无限可能,为各种智慧应用场景提供强大的底层技术支持,助力全社会智慧愿景的实现。