机器视觉作为机器人赛道的核心应用之一,成长潜力持续发酵。结合光学装置和传感器的机器视觉系统,能够自动接收和处理真实物体图像,获得所需信息或控制机器人运动。其核心芯片包括AI芯片、图像传感器、存储器、处理器和通信芯片等,这些芯片协同实现了机器人视觉的功能和应用。
机器视觉涵盖AI、计算机科学、图像处理、模式识别等诸多领域技术,拥有精度高、速度快、可靠性高等优势。在机器视觉应用领域,核心芯片以国外品牌为主,国内芯片仍处于发展初期阶段,不过据<与非网>调研,随着机器人市场的不断发展,视觉和计算技术的不断成长,国产芯片在逐步进入应用阶段。
3D视觉是突出趋势
近年,机器视觉最大的趋势来自3D视觉技术的突破,进一步推动视觉技术在高端机器人场景的应用。不过,工业应用中常见的拆码垛、定位、分拣等场景下同质化竞争较多,3D视觉将逐步向更高阶的场景延伸,比如焊接、检测、装配等场景,并且在机器人引导(例如移动机器人+3D 视觉、机械臂+3D视觉)场景应用前景广阔。
相比 2D 机器视觉,3D 机器视觉具有显著优势,例如测量速度快、精度高、抗干扰能力强、操作简便等,能有效解决2D机器视觉对于高度、厚度、体积、平面度等测量因素缺失的问题。不过,也正是由于比2D视觉应用多了数据维度,3D视觉计算芯片整体数据的存储、计算以及相关算法都变得更加复杂,需要具备较强的计算能力。
目前,国内具有相关芯片研发能力的公司包括肇观电子、银牛微电子、中科融合、灵明光子、炬佑智能、元橡科技、埃瓦科技、视海芯图等。
肇观电子的SoC芯片NE-D163A能够实时输出深度图像,以及进行实时计算机视觉特征处理。同时,还具备AI计算能力,在INT8和FP16精度下,D163A运行各项网络均可达到较高的每TOPs每秒处理帧数。
银牛微电子的NU4100视觉AI处理器中采用了芯原的双通道ISP IP,具备3D深度感知、AI处理和片上基于视觉的实时定位与建图 (VSLAM),可以低功耗、低延迟地处理来自多个4K摄像头的数据。NU4100采用了优化的嵌入式视觉架构,可高效整合计算机视觉引擎和深度学习 (CNN) 处理等一系列计算模块。
中科融合的3D视觉解决方案主要基于两颗自研的核心芯片:一是MEMS微振镜芯片,据称主要替代TI DLP芯片,成本可以降低4倍、功耗降低10倍、体积降低20倍。二是3D AI VDPU SoC芯片,主要是进行光学数据处理和系统控制。通过这两个芯片形成模组,可以在达到同类竞品相同成像效果和体验的情况下,实现功耗、成本、体积大幅度降低。
此外,3D视觉整体方案提供商奥比中光也在自研芯片,一类是深度引擎芯片,贴片在3D 视觉传感器PCB板上,实现3D视觉感知中最核心的深度信息的计算功能;另一类是专用感光芯片,根据3D感知成像的特殊要求,自主定义及设计芯片内用于感光的像素微结构、用于计算的读出电路部分、去噪模块,与深度引擎芯片配合,将较目前通用感光芯片大幅提升产品系统性能。
机器视觉主芯片路线丰富
机器人视觉系统通常需要一个强大的处理器来处理和执行各种任务,如图像处理、计算机视觉、物体识别等,其处理器可以是CPU、GPU、FPGA或其他类型的处理器。当前。融合了AI特性和处理器功能的AI视觉芯片正在成为一大趋势,负责处理和执行各种机器学习算法和深度学习算法。
AI视觉主芯片可以简单区分为GPU、CPU/集成GPU、带NPU的SoC、FPGA、以及RISC-V架构芯片等。这些芯片分别面向不同的应用和用户类型,也各自呈现出不同的发展趋势。
其中,基于GPU的开发板可能是许多用户刚开始AI开发时就接触到的,比如NVIDIA TX2或Nano,AMD的APU SoC等。这类产品最大的优势是生态完善,不论是Tensor Flow、Caffe、PyTorch或是AI库等,运行起来都很流畅,开发体验也比较好。
第二类CPU/集成GPU,主要针对中低算力需求的应用,只需已有的CPU或是集成GPU就可以满足。优势在于整体硬件成本更低,且方案成熟;缺点就是算力不够大,不能支持太大的AI模型。
第三类是带NPU的SoC,已经越来越成为AI视觉主芯片的一大趋势,它们将NPU与主处理器集成在一起,可满足中高算力需求。由于是单芯片,硬件成本也适中,挑战主要在于模型的量化部署方面,以及模型部署工具的成熟度,主要依赖于芯片厂商成熟的工具链支持。
除了这类单芯片设计,市面上还有一类神经计算加速棒产品,可以通过USB插到板卡上提供运算能力。但是这类方案需要进行相互之间的数据传输,对于整体的方案设计、硬件的稳定性等都有一定挑战。
第四类基于FPGA的主控芯片,主要满足对实时性要求较高的工业级应用。挑战在于开发难度,涉及一些自研AI加速FPGA逻辑,需要底层的加速设计和量化方案设计,以及相应的转换、编译。
第五类是RISC-V架构的芯片,近两年得到了较大的发展。由于需要进行图像处理,这类芯片往往需要采用RISC-V主处理器+ISP或Arm CPU+RISC-V协处理器的异构形式,以应对更大的算力需求和更高的图像处理性能。
以下是部分具有代表性的国产视觉处理芯片:
瑞芯微RV1109是一款高性能机器视觉处理器的SoC,基于双核ARM Cortex-A7,集成了NEON和FPU。内置的NPU支持INT8/INT16混合操作,计算能力可达1.2TOPs。RV1109还引入了基于硬件的5000万像素ISP和后处理器。实现了IPC和CVR中常用的加速算法。瑞芯微在投资者互动平台上表示,公司的芯片产品应用领域广泛,已应用于多种形态的机器人产品,比如扫地机器人、教育机器人、服务机器人、工业/农业机器人等。
全志科技的V853集成了新一代星光级画质引擎,内置的最新一代Smart视频编码引擎,集成单核Cortex-A7@lGHz、RSIC-V@600MHz及最大IT算力 NPU,支持16-bit DDR3/DDR3L最高速率933MHz,能够满足多种应用算力及带宽需求。
清微智能TX510是一款面向IoT设备的超低功耗视觉处理芯片,基于可重构计算架构,内置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神经网络,可实现人脸识别、物体识别、手势识别、目标跟踪等功能。支持3D结构光,支持3D活体检测、红外活体检测、可见光活体检测等。
勘智K510是嘉楠公司推出的第二代AI边缘侧推理芯片,提供高性能的图像及语音处理能力。K510-CORE是核心模组,板载一颗K510芯片,CPU采用双核64bit RISC-V架构,K510搭载自主研发的第二代神经网络处理器KPU2.0,采用计算数据流技术,算力较上一代提升3倍同时降低功耗。
AR9341集成了酷芯微电子自研的第二代HiFi-ISP技术,在2D降噪、3D 降噪、HDR、去雾、边缘增强等各方面水平较高,同时内部集成红外热成像图像增强的技术,具有更加广泛的适应性。集成的4K级 ISP、H264/265视频编、解码器(9M@60fps)可保证其输出高质量的视频,相比酷芯上一代的产品性能提升了100%。
富瀚微FH8898是全高清实时高性能智能网络处理器 SoC 芯片,最高幅面支持4K。集成了2.0TOPS 算力的高性能神经网络处理引擎,4核RISC 处理器,同时集成了高性能的ISP 图像处理模块和视频编解码器。芯片可外接32 位宽高速DDR3 和DDR4 存储芯片,支持USB3.0 接口和其他丰富的应用外设接口。富瀚微在投资者互动平台表示,公司芯片除了可应用于高要求专业场景的工业机器人,更广泛出现在生活场景:超市货架机器人、酒店送餐机器人、家庭下棋机器人等多元化的场景。
国产芯片冲刺高端CIS
机器人视觉系统也对CIS提出更高要求。采用全局快门模式的 CIS 中,每个像素处都增加了采样保持单元,使得所有的像素可以同时用于捕获图像,从而避免了在高速拍摄场景下因每行像素曝光时间差异而形成的“果冻效应”。
CIS 是CMOS 摄像模组实现成像的核心元件,约占据 CMOS 摄像模组价值的 52%。CIS 的技术突破主要集中在对一定价格区间内极致性能的追求上,如何在有限的空间和预算内,实现较大的光学尺寸(由像素颗粒大小与像素数目共同决定),从而实现优质的感光性能,成为了技术突破的焦点。由此,衍生出了 Stack(堆栈)等结构更复杂的 CIS 产品。
Gartner曾预测,CIS预计将成为第一批中国占据全球份额10%以上的半导体品类之一。根据Yole Intelligence发布的2022年全球CIS(CMOS图像传感器)行业现状报告,2022年全球CIS行业收入为212.9亿美元。索尼以42%市场份额排名第一,三星以19%份额排名第二,豪威科技(Omnivision)以11%份额排名第三,此外,国内厂商还有格科微(Galaxycore,4%份额)、思特威(Smartsens,2%)位列前十。这些国产芯片厂商在中低端领域形成一定市场基础后,也有望向高端应用进击。
写在最后
机器视觉被认为是新蓝海,特别是在机器人领域,随着各类智能技术与机器人终端结合,将对视觉系统提出更多应用需求。
3D视觉市场就在飞速发展,国产3D视觉芯片玩家的成长和入局,就印证了这一趋势。未来,3D视觉应用或将渗透更多场景。此外,在视觉计算芯片方面,市场竞争也将更加激烈。
未来,机器人视觉系统的增量主要在于机器人的落地和应用领域的拓宽,不过,下游细分场景需求较为碎片化,需要积累、以及相应解决方案的定制开发,导致新场景的落地速度可能慢于预期,芯片国产化率的提升也需要恒久发力。