1348
前言/
很久没有更新图像传感器和光电探测器系列了！前段时间真的太忙了，导致很多留言过期不能回复，还请见谅哈~ 这周末难得有空，那就继续更新吧~
前面的浅谈光电探测器和图像传感器系列介绍了图像传感器的分类，常见光电探测器的原理、材料和器件结构、微光探测图像传感器、偏振探测图像传感器、X射线图像传感器、量子点图像传感器、新型图像传感器等内容。
往期回顾如下：
浅谈光电探测器和图像传感器（十）:光谱探测器与片上光谱仪（1）
浅谈光电探测器和图像传感器（八）:新型传感器之柔性图像传感器和透明图像传感器
浅谈光电探测器和图像传感器（六）:从成像技术角度新型探测器之偏振探测
01 新型传感器/
随着第四次工业革命(工业4.0)的到来,人工智能(AI)大模型的突破,具身智能(Embodied AI)的涌现,物联网(IoT)万物互联时代的到来,传感器技术面临着前所未有的机遇与挑战。这一系列技术变革不仅推动了传感器在应用场景上的多元化,更对其功能性能提出了更高的要求。
工业4.0：在智能工厂中,传感器需要准确捕捉生产线上的各种参数,如温度、压力、振动等,并能够实时传输数据,为生产过程的优化和预测性维护提供依据。这就要求传感器不仅要提高测量精度,还要增强抗干扰能力和数据处理能力。
AI大模型：AI大模型的发展需要海量数据，传感器作为强大的“数据收集器”，其数据收集的有效性、可靠性、全面性是保证AI模型训练的关键。在数据维度方面，传感器需要能够采集更加丰富和多维度的数据,以满足AI模型的训练需求。在数据量方面，海量数据的直接采集对数据传输、存储、处理都带来了巨大困难，此外能耗也是不容忽视关键因素。因此需要传感器具备低能耗、事件驱动型的特性，最好能配置边缘计算，使其具备一定的本地处理能力,能够在数据源头进行初步的特征提取和分析,减轻中央处理系统的负担。
IOT万物互联 :物联网（IoT） 和 传感器 之间的关系，就像人的五感和大脑的关系。传感器是物联网的“眼”、“耳”、触”、“鼻”、“舌”，负责感知周围环境，并将感知到的数据转化为数字信号。这些信号再通过网络传输到云端或本地服务器，经过处理后，实现智能化的控制和决策。可以说传感器充当了物理世界和数字世界的连接接口。
传感是实现IOT的关键技术，https://www.eetimes.eu/designers-guide-to-industrial-iot-sensor-systems/
Embodied AI:具身智能的研究推动了传感器向仿生学方向发展。模仿人类感官系统的多模态传感器正在成为研究热点,如触觉传感器、视觉传感器、神经形态传感器等。这些传感器不仅要能够准确感知外界环境,还要能够像人类感官一样进行快速的信息整合和反馈。
未来的传感器将朝着高精度、多功能、智能化、低功耗的方向发展,以满足工业4.0、AI、具身智能和物联网等新兴技术领域的多样化需求。
02 神经形态传感器/
神经形态传感器具有边缘数据处理、事件驱动、低功耗等特点。它们能够仅发送必要的数据进行处理，而不是全部数据。
神经形态最早是加州理工学院电气工程和计算机科学教授Carver Mead提出。他出版了《Analog VLSI and neural system》，这是关于类脑工程或类脑计算的第一本书，书中提到“.. the use of very-large-scale integration (VLSI) systems containing electronic analog circuits to mimic neuro-biological architectures present in the nervous system.”。
神经形态视觉的愿景是创造一个包含硬件开发，软件支撑，生物神经模型的智能视觉感知系统，其工作原理模拟生物智能体的视觉感知结构。神经形态其与目前的“类脑智能”发展紧密相连，‘类脑’一词被用来描述实现神经系统模型的模拟、数字和混合模式模拟/数字VLSI及软件系统（用于感知、运动控制或多感官整合）。
事件相机是一种代表性的神经形态传感器，近年来其成为了学术界研究热点和企业界的关注焦点。事件相机（Event Camera）是从Dynamic Vision Sensor （DVS）发展过来的，而DVS的发展起源于1990年Misha Mahowald（Carver Mead的学生）在其博士论文中提到的“硅视网膜”。
神经形态传感实质上不是一个器件单体而是一套整体解决方案，事件相机仅是一个具体实现案例。光学传感系统包括感知、计算、乃至光学前处理。因此作为一个完整解决方案，可以从不同角度实现神经形态传感，也可以从不同的功能层面去模拟人眼和人脑过程。
从硬件层面出发，神经形态传感器有三种设计思路，一种是在传感器件后端加入边缘处理芯片，比如POLYN通过在传感器后立即利用特定应用的NASP前端芯片，为传统传感器添加智能。第二种是直接制备具有神经形态特性的传感像素，比如事件相机。第三种是在光学成像模组上引入神经形态设计。
根据YOLE报告预测，根据Yole Group最新发布的报告，神经形态计算和传感在2034年将创造84亿美元的市场。其受到了学术界、企业巨头、初创公司的广泛关注。
与神经形态传感紧密相关的是神经形态计算，前面提到，实现神经形态传感的一个思路是保持像素层不变，而在数据处理层引入神经形态计算芯片。神经形态计算芯片受生物神经系统启发，这类芯片致力于模拟人脑的结构和功能，以实现更高效、更节能的计算方式。其核心优势在于低功耗、高并行性以及对复杂数据的处理能力，为人工智能、机器学习等领域带来了新的突破。
近日，神经形态计算公司SynSense收购类脑视觉传感器公司iniVation，实现类脑传感+神经形态计算的强强联合。结合事件感知和神经网络计算结合可以实现更高维的智能化。基于事件的感知通过将感官信息（例如视频、音频、雷达）编码为尖峰流来解决冗余数据的问题。这些传感器受到生物传感器（视网膜和耳蜗）的时序编码的启发，这一时序脉冲感知信号与神经形态尖峰算法（SNN）配合，从而可以实现探索脑启发的感知与计算模型及传感器的有机融合。
神经形态计算面向更广的应用场景，直接服务于当前的AL智能和大数据，预计在 2022 年至 2029 年的预测期内将以 52.50% 的速度增长，到 2029 年预计将达到 346.1 亿美元的价值。
03 事件相机/
事件相机与传统的帧式相机不同，它不会像传统相机那样以固定的速率捕捉图像，而是只在场景中发生变化时才记录信息。这种独特的机制赋予了事件相机许多传统相机无法比拟的优势，例如：高动态范围、低延迟、低功耗。
事件驱动的实现方案是在像素读出电路部分设计类“差分”的设计逻辑,通过差分型视觉采样及AER传输协议 实现只传输动的像素的数据。这一设计的主要优势在于：
1.低冗余数据：输出异步稀疏脉冲也不存在“帧”的概念，不再受限于快门时间和帧率， 感知光强的变化，可消除静态不变的视觉冗余；
2. 高时间分辨：采样具有高时间分辨率，适用于高速运动视觉任务分析；
3. 高动态范围：光电流与电压的对数映射关系，增强了高低光照的感知能力进而提升动态范围。
与传统的高速相机比，事件相机的巧妙之处在于，其借助整体架构的配合实现对硬件要求的降低，从而实现整个系统的成本降低、体积缩小，同时由于其改变了数据采集和传输的模式，大大降低数据量，提高了设备的动态范围。这是一个很成功的通过整体系统的设计来实现所需性能最优的典型案例。
除了在像素电路设计上引入差分思想构建事件特性外，还可以在光电探测像素部分用同样的思路构建差分光电响应。2023年，香港理工大学柴杨&华中科技大学何毓辉教授合作，在Nature Electronics上报告了一种事件驱动视觉传感器，其通过两个极性相反的PN光电二极管组成，构建差分型事件驱动。
04 神经形态传感器的主要应场景/
神经形态传感器常见的应用场景包括：机器人视觉、自动驾驶、高速运动物体检测、低功耗感知、增强现实（AR）和虚拟现实（VR）、高动态范围成像、眼动追踪、工业监测、高精度测量。其既可以作为高速相机的低成本替换产品，用于高速摄影应用中；又可以作为always-on的低功耗边缘传感用于安防、检测等领域。
单分子定位显微镜 (Single-molecule localization microscopy, SMLM) 是一种超分辨率显微镜技术，它能够突破传统光学显微镜的衍射极限，实现纳米尺度的成像。其实现超分辨的原理在于利用荧光分子的闪烁特性，将单个荧光分子在时间上进行分离，然后通过精确定位每个分子的位置，最终重建出高分辨率的图像。根据这一原理可以看到，SMLM具有较强的事件特性，是一个很适合事件相机的应用场景。2023年巴黎文理研究大学Clément Cabriel， Ignacio Izeddin等，在Nature Photonics上发文，基于经济的事件传感器，实现了单分子定位显微镜SMLM数据采集和处理。相比于传统电子倍增电荷耦合器件或科学互补金属氧化物半导体相机的视频采集，基于事件的传感器，在闪烁分子的位置上，提供了更高的时间分辨率和通量。
除了在大家熟知的消费和工业生产领域，事件相机等神经形态传感器在军事和遥感领域都有重要应用。
全球定位系统（GPS）是军事和商业定位、导航和定时应用的关键。全球定位系统的导航性能取决于能否可靠、无障碍地接收低功率卫星信号。这些信号很容易受到干扰或欺骗。AFIT 自主与导航技术中心已投资于各种替代导航解决方案，以降低这种风险。基于事件传感器的视觉惯性测距（EVIO）导航就是其中一个研究领域。
测试中的系统（SUT）包括基于事件的传感器（EBS）和惯性测量单元（IMU），安装在 F-16D 上的可重构机载传感器、通信和激光（RASCAL）吊舱中，以提高目视测距性能。EBS 通过硬件实现强度变化检测。这种操作理念提高了时间分辨率和动态范围，而且功耗低，有利于快速运动和低/变化的环境照明条件。SUT 的导航算法通过卡尔曼滤波器处理 EBS 图像来识别特征运动，并辅以 IMU 数据来预测飞机的位置、速度和姿态。[参考自 专知智能防务 《基于事件传感器的视觉惯性测距系统》美空军98页技术报告]
05 神经形态传感器相关公司和产品/
除了索尼、三星等传感成像领域的巨头之外，许多初创企业也积极投身神经形态传感领域。
领先的神经拟态视觉传感公司普诺飞思（Prophesee）于2023年推出业界首款专为超低功耗边缘视觉设备集成设计的 Metavision® 事件视觉传感器 GenX320。该新品为Prophesee第五代Metavision 传感器产品。GenX320的推出将 Prophesee开创性的事件视觉技术平台的应用范围拓宽，扩展至快速增长的边缘市场领域，覆盖 AR/VR 设备、可穿戴设备、游戏、机器人、笔记本和平板电脑、物联网设备等。
Voxelsensors正在开发一种新型“摄像头”，每个传感器都配备了所谓的“切换像素”(Switching Pixels™)，用于捕捉扫描激光“事件”发生的时间。该传感器可以以每秒1亿次的频率发送事件信号。与通常所说的“事件摄像头”不同，VoxelSensor采用了不同的工作方式，因为VoxelSensor的设计是用来寻找扫描激光的，所以它对该激光光非常敏感，同时对其他光源则会进行自抑制。由于激光和红外辐射的眼部安全限制，在3D感知方面，更好的传感器灵敏度意味着更好的范围和分辨率。
锐思智芯公司推出的新型融合视觉传感器，采用其独创的Hybrid Vision融合视觉技术，将基于事件的视觉传感器（EVS）和传统的CIS图像传感器优势相结合。这种融合技术可以同步捕捉动态的事件信号和静态的图像信号。该传感器通过捕捉动态的事件信号，传感器能够实现更低的延迟、更低的功耗和更小的数据量，从而提高效率。其次，通过叠加传统的图像信号数据，可以弥补帧率、数据量和动态范围等方面的不足，完善图像信息。这种融合技术突破了传统视觉传感器的瓶颈，能够提供更全面的动静态信息捕捉能力，为各种应用场景带来更精准、更有效的视觉感知体验
iniVation由基于事件视觉的发明者创立，是神经形态视觉的先驱企业。目前已经推出多款神经形态视觉传感器，目前该公司已被神经形态计算公司SynSense收购。
初创公司Oculi提出“软件定义视觉传感器”概念，该公司开发出了一种视觉技术架构，其中传感和处理都位于像素级。该公司称之为传感与处理单元（Sensing and Processing Unit, SPU）。
SPU基于像素级集成的存储和计算功能，类似于人眼的工作方式。每个像素都包括了传感和数字处理功能（逻辑单元和小存储单元），使传感器像素足够智能，能够在检测到感兴趣的内容时提供信息。当然，如果应用需要，仍然能够提供全帧图像输出。用户可以选择不同的输出模式，通过软件优化隐私、延迟和功耗。Rizk补充称，对于大多数应用，SPU的功耗为毫瓦级。
06 神经形态与IOT 传感器/
物联网传感器是连接物理世界与数字世界的桥梁，也是实现万物互联、人机交互、具身智能的关键。传感器是现实与虚拟的桥梁，人与物的接口，物联网传感器就像人类的感官，可以感知温度、湿度、光线、声音、压力、运动等各种物理量，并将其转换为数字信号，以便计算机系统进行处理和分析。根据其感知的物理量，IOT传感器可以分为以下几类：
温度传感器：用于测量环境温度，例如家用智能恒温器、工业生产线温度监控等。
化学传感器：用于检测物质成分，也可用于可穿戴的医疗健康设备。
湿度传感器：用于测量环境湿度，例如智能温室、农业灌溉系统等。
光传感器：用于测量光强、光谱等信息，例如智能照明系统、物质识别。
视觉传感器：用于实现成像和探测，比如人脸解锁、姿态识别。
压力传感器：用于测量压力，例如汽车轮胎压力监测系统、医疗设备等。
电磁传感器：用于实现信号检测、定位、流量监测等。
声音传感器：用于检测声音，例如智能语音助手、噪音监测系统等。
神经形态IOT传感器，顾名思义，是一种将神经科学原理与物联网技术相结合的传感器。它模拟了生物神经系统的运作方式，能够以事件驱动的方式对外部刺激进行感知和响应，从而实现高效、低功耗的物联网应用。事件相机是一种神经形态IOT传感器，但是值得注意的是，IOT传感不局限于光，而是覆盖了力、热、光、电、磁、声等多物理场的传感、还涉及化学、气体等感知需求。因此对传感提出了更多元化的需求。
物联网应用的认知转型使得针对单个应用的优化解决方案以及沉浸式技术（即虚拟现实（VR）和增强现实（AR））的整合成为可能；这些概念改变了个人和机器人事物之间以及与物联网平台系统之间的交互方式。在这种情况下，VR和AR功能与数字网络融合，形成一个无缝的智能设备系统，设备之间更强的协作互动出现，为新的持续和环境数字体验奠定了基础。在这一强交互、强连接的IOT nueromorphic 蓝图中，传感器的智能化使其实现智能无缝连接的关键。
从产业上看，神经形态视觉传感目前发展最为成熟，已经有了相关的公司和产品，其他IOT传感器还相对停留在研究阶段。
07 神经形态与可穿戴健康监测/
神经形态传感器在可穿戴和健康监测领域也将有较大的应用。由于传感器在普适性和分布式网络中的广泛应用，功耗、处理速度和系统适应性对未来的智能可穿戴设备至关重要。神经形态平台微可穿戴传感器提供了低功耗、低延迟、低数据量的解决方案。
北京理工大学沈国震教授课题组近日在《Nature Communications》期刊上发表题为“Neuroprosthetic contact lens enabled sensorimotor system for point-of-care monitoring and feedback of intraocular pressure”的学术论文。论文报道了一种用于眼压即时监测和感觉反馈的神经形态隐形眼镜（Ti₃C₂Tx-NCL），实现了眼压信号的实时有效监测，加强了眼睛和大脑之间的神经传递。
/参考文献/
[1] Zidan, M.A., Strachan, J.P. & Lu, W.D. The future of electronics based on memristive systems. Nat Electron 1, 22–29 (2018). https://doi.org/10.1038/s41928-017-0006-8
[2]Sensors 2020, 20(23), 6783; https://doi.org/10.3390/s20236783
[3]https://www.eetimes.eu/designers-guide-to-industrial-iot-sensor-systems/
[4]https://www.openpr.com/news/569466/global-iot-sensor-market-present-scenario-and-growth-prospects-2017-2022.html
[5]https://iot-analytics.com/5-iot-sensor-technologies/
[6]Howard, D., Eiben, A.E., Kennedy, D.F. et al. Evolving embodied intelligence from materials to machines. Nat Mach Intell 1, 12–19 (2019). https://doi.org/10.1038/s42256-018-0009-9
[7]Bartolozzi, C., Indiveri, G. & Donati, E. Embodied neuromorphic intelligence. Nat Commun 13, 1024 (2022). https://doi.org/10.1038/s41467-022-28487-2
[8]Cho, S.W., Jo, C., Kim, YH. et al. Progress of Materials and Devices for Neuromorphic Vision Sensors. Nano-Micro Lett. 14, 203 (2022). https://doi.org/10.1007/s40820-022-00945-y
[9]https://www.historyofinformation.com/detail.php?id=3900
[10]https://www.federicocorradi.it/index.php/research/neuromorphic-chips/
[11]VLSI Analogs of Neuronal Visual Processing: A Synthesis of Form and Function
[12]https://spectra.mathpix.com/article/2022.03.00339/event-camera-the-next-generation-of-visual-perception-system
[13]A 240 × 180 130 dB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor
[14]https://rpg.ifi.uzh.ch/docs/scaramuzza/Tutorial_on_Event_Cameras_Scaramuzza.pdf
[15] https://rpg.ifi.uzh.ch/davis_data.html
[16] Zhou, Y., Fu, J., Chen, Z. et al. Computational event-driven vision sensors for in-sensor spiking neural networks. Nat Electron 6, 870–878 (2023). https://doi.org/10.1038/s41928-023-01055-2
[17] Cabriel, C., Monfort, T., Specht, C.G. et al. Event-based vision sensor for fast and dense single-molecule localization microscopy. Nat. Photon. 17, 1105–1113 (2023). https://doi.org/10.1038/s41566-023-01308-8
[18] Cabriel, C., Monfort, T., Specht, C.G. et al. Event-based vision sensor for fast and dense single-molecule localization microscopy. Nat. Photon. 17, 1105–1113 (2023). https://doi.org/10.1038/s41566-023-01308-8
[19]《基于事件传感器的视觉惯性测距系统》
[20]Schuman, C.D., Kulkarni, S.R., Parsa, M. et al. Opportunities for neuromorphic computing algorithms and applications. Nat Comput Sci 2, 10–19 (2022). https://doi.org/10.1038/s43588-021-00184-y
[21]https://news.eeworld.com.cn/news/ic653975.html
[22]Liu, W., Du, Z., Duan, Z. et al. Neuroprosthetic contact lens enabled sensorimotor system for point-of-care monitoring and feedback of intraocular pressure. Nat Commun 15, 5635 (2024). https://doi.org/10.1038/s41467-024-49907-5
[23]https://www.yolegroup.com/industry-news/oculis-software-defined-vision-sensor-is-fresh-and-foreign/
[24]https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2021.611300/full
[25]IOT based wearable sensor for diseases prediction and symptom analysis in healthcare sector
[26]Cognitive Hyperconnected Digital Transformation Internet of Things Intelligence Evolution, Chapter: "A Smart Tags Driven Service Platform for Enabling Ecosystems of Connected Objects"
下载ECAD模型
