近日,普诺飞思(Prophesee)宣布完成 C轮融资,由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码。
先来介绍一下这几家投资机构,首先创新工场是李开复博士创立的,目前,创新工场管理着超过25亿美元的基金总额,所投资的著名AI独角兽企业包括Momenta、文远知行(WeRide)、创新奇智(AInnovation)、第四范式(4Paradigm)、地平线机器人(Horizon Robotics)等。据了解,普诺飞思是创新工场投资的第一家欧洲企业,此前的投资专注于中国市场。
另外跟投的两家小米和韦豪创芯,众所周知,小米是全球三大移动设备供应商之一,韦豪创芯是国内知名的投资公司,由国内半导体行业龙头韦尔股份作为发起人参与投资,而韦尔股份旗下的豪威科技是全球前三的CMOS图像传感器供应商。
这些投资机构看好的普诺飞思到底是什么来头?
据悉,普诺飞思总部位于法国巴黎,此前已获英特尔资本、雷诺集团、博世创投、欧洲投资银行等北美、欧洲和日本的知名投资人支持,加上此轮中国的行业顶级投资人,组成了强大的国际资本阵容。
为什么这么多的投资机构都看好这家企业呢?
普诺飞思是世界上最先进的神经拟态视觉系统的发明者,其原视觉(Metavision®)传感器专利和AI算法引入了一种全新的基于人眼和大脑工作原理的计算机视觉范例。普诺飞思的技术可以被理解为“神经拟态机器眼”。当前,许多机器视觉技术都遵循传统的成像原则——即机器每秒看到25帧的静止图像,通过对每帧图像进行智能解析,做进一步的识别与分析。但这种“基于帧”的成像方式不仅让机器的“眼”和“大脑”速度不匹配,系统响应时间慢,机器每一帧都做记录还会储存大量的无用数据,产生大量冗余数据,耗费系统处理资源。
受人眼视网膜和大脑工作原理的启发,普诺飞思创建了神经拟态传感器和生物启发算法,将基于图像静止帧的传感器改为“基于事件”的视觉系统。在基于事件的视觉传感器上,每个像素都是异步且独立的,能独立感知并记录场景中物体的运动。像素会随着场景变化的节奏而动态变化,而非按照预先设定好的每秒25帧。通过普诺飞思神经拟态视觉传感器和软件技术,生成的数据量比传统的图像传感器减少十到千倍。普诺飞思传感器可实现像素级别的曝光调节,即使在极暗或极亮的光照条件下,也可实现 >120dB的动态范围。普诺飞思“基于事件”的神经拟态视觉系统不仅能让每个像素独立展现场景的动态及生命力,更可以让机器看见隐藏的场景运动信息,进一步模拟人类双眼,“看到”行云流水般的世界。
“基于事件”的神经拟态视觉技术的落地情况如何?
根据普诺飞思联合创始人兼CEO卢卡·维雷(Luca Verre)先生的介绍,目前“基于事件”的神经拟态视觉技术已经落地于以下五大领域:
- 全球首个基于神经拟态视觉系统的座舱监控技术
利用普诺飞思原视觉(MetaVision)传感技术提供的时间数据,一家致力于驾驶监控等技术研发的美国企业Xperi开发出了全球首个基于神经拟态视觉系统的驾驶员监控解决方案(DMS)。
该方案可通过对驾驶员眼睛、表情的快速监测,以及计数驾驶员的眨眼频率,从而对他目光注视的情况进行监测。具体来讲,当驾驶员疲劳的时候,眨眼频率和速度都会大大提高。传统RGB摄像头可以检测到眨眼,但不能测算眨眼的速度。此外,驾驶员开车的时候,经常需要面对阳光,然后就会放一块遮光板或是戴太阳镜来遮阳,与此同时会形成眼部暗区,传统视觉方案在这个情况下,要么看不到眼睛,要么把脸部其他部位过爆。针对以上这些问题,DMS都能很好的解决。
- 基于事件的高级驾驶辅助系统
由高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感技术,采用了普诺飞思原视觉(MetaVision)传感器,使自动驾驶汽车和ADAS系统能够快速、准确地理解周围的环境,增强现有雷达、激光雷达和摄像头系统的性能,比如可扫描车辆半径增加到40米,反应时间却只要3ms。
具体来讲,与第一个应用类似,在车上安装三个基于事件的传感器,还有一个激光柱,激光柱进行扫描,在扫的时候经常碰一个问题,即点不够多,而且循环比较慢,此时普诺飞思的传感器会追踪激光柱的灯光,然后对扫描到内容进行3D建模,从而来分析前端路况的情况。
- 通过细胞实时无菌检测实现的下一代细胞疗法
标准的无菌检测依旧参照几十年前的微生物学的方法,通常需要7-14天来完成,这大大延迟了有关细胞治疗的发展。但使用Cambridge Consultants和普诺飞思共同开发的自动化污染检测系统,则可以在ms级时间内进行反馈,这个系统用到了普诺飞思的原视觉(MetaVision)传感器和AI模型。
值得一提的是,这个细胞疗法在血站里没太多用处,因为血站会用抗生素来除菌。自动化污染检测系统的作用是在利用细胞作为介质生产的产品中寻找细菌和杂质,比如胰岛素的制作。
- 首位失明患者借助光遗传疗法恢复部分视力
根据《自然-医学》(Nature Medicine)的报道,GenSight和普诺飞思共同开发的GS030光遗传疗法,让失明患者恢复了部分视力。
具体来讲,GenSight所生产的护目镜当中运用了普诺飞思的技术,可以通过失明人士视网膜中所植入的投光器对视觉系统进行光刺激,进而让其恢复一部分的视觉功能。其中,普诺飞思设计的“硅视网膜(silicon retinas)”,能够将信号发送给大脑进行处理,该技术可专门针对于一些晚期的视网膜色素变性的病例。
- 实时图像去模糊,为传统相机带来巨大的提升
普诺飞思事件传感器和传统的传感器结合起来,能够改善手机拍照的质量,也就是所谓的计算摄影。
具体来讲,对于智能手机来说,拍摄的质量是非常重要的。如果是传统的基于帧的技术,拍照的时候会产生运动模糊的现象。事实上,防抖这个功能大家都在做,一般会借助于IMU,或者物理光学防抖。这种解决方案主要用来做自身防抖,当被拍物体由于移动速度过而快造成的模糊却是非常难以解决。例如在拍摄奔跑的宠物这样的场景中,如果灯光条件不是特别好,曝光时间一般会比较长,拍摄结果就会较为模糊。对于传统RGB以图像为基础的技术来说,这是一个根本性的问题,因为这项技术主要是为了捕捉静态的图像而设计的,不是为了捕捉动态信息。如果将传统的静态的以帧为基础的技术和普诺飞思以事件为基础的技术相结合,就可以解决这个模糊问题,运用算法,甚至可以捕捉到时间分辨率为1μs的运动。
本轮融资会对普诺飞思产生那些影响?
首先,本轮投资者都是中国的机构,有助于普诺飞思扩展全球布局,深耕中国市场,进一步加强在中国的商业发展与资源积累,满足市场与客户不断增长的需求,并在半导体、工业、机器人、物联网和移动设备等关键生态领域建立更广泛的合作关系。值得一提的是,小米和韦豪创芯的战略参与,也为普诺飞思进入关键的移动设备和半导体领域提供了支持。
此外,基于本轮的融资合作,普诺飞思将加速下一代神经拟态视觉传感技术的硬件和软件产品的开发与商业化;针对新兴市场规划产品路线;完善基础设施,支持运营及规模扩张。