加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    •  
    • 来自人眼的启发
    •  
    • 更清晰的拍照,更准确的驾驶
    • 这是怎样的一个公司
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

神经拟态视觉传感器来了:手机和车都能用,李开复雷军纷纷投资

2021/07/09
219
阅读需 6 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

机器会怎样来看世界?

通过帧。

传统的图像传感器会通过每秒捕获多张静止图像来记录场景运动。

如果将这一系列图像通过足够快的速度连续展示,人类视觉就能产生“这是连续运动”的错觉。

但对于计算机来说,无论是多快的速率,帧与帧之间总会丢失某些运动信息。

那么,有没有办法让机器连续地“看”到运动场景或事件呢?

今天就来看看普诺飞思(Prophesee)公司给出的“神经拟态机器眼”。

 

来自人眼的启发

要了解这个“机器眼”,首先得看看它模仿的源头:

人眼。

我们是如何通过人眼来看世界的呢?

当眼睛中的视觉细胞感测到场景变化——即发生了某个事件时,它就会将相关信息通过视神经传到大脑皮层。

而收集到的数据也是持续的,是以事件为基础的。

因此,普诺飞思的研究者们以人眼为启发,提出了基于事件的视觉感知技术。

和传统图像传感器不同,在基于这种技术的传感器中,每个像素都是异步且独立的。

因此,图像信息并不是逐帧发送,而是通过连续的信息流捕获事件运动:

而如果从事件的角度来考虑,静止和场景并不会带来新的信息。

因此,这种技术也就不关注完全静止的场景:

只有场景中发生某个事件,产生了变化时,传感器才会产生输出:

如果是以帧为单位来获取这种图像信息的变化,那得一张一张固定频率发送,然后一个像素一个像素的比较。

而现在,只关注动态变化,也就剔除了很多冗余信息,减少了处理数据量。

这不仅加快了处理速度,也意味着对算力要求的减弱,成本也就随之降低。

普诺飞思的CEO兼创始人Luca Verre对此表示:

这是来自自然界的完美的解决方案。

现在,普诺飞思已将这种基于事件的视觉技术集成到已有系统中,量产了世界上首个基于事件的视觉传感器

并且随着更新换代,传感器的性能越来越好,尺寸也越来越小了。

 

更清晰的拍照,更准确的驾驶

更小,也就意味着离我们的日常生活更近。

比如手机拍摄。

如果在按下快门的几毫秒内被拍对象恰好发生了移动,那么图像的一个点就会变成一条线。

这也就是我们在拍摄很多动态物体时常常产生模糊的原因。

但现在用基于事件的视觉技术,就能够在按快门的这段时间内一直观测这一点的移动,知道它的移动轨迹,再将这条线恢复成点。

可以看到,采用基于事件的视觉技术的右图明显比左图要清晰很多。

此外,这一技术也能提供更大的动态范围,让每一个像素都能按照不同的曝光值来曝光。

这样,即使在非常严苛的光线情景(如室内或夜景)下,拍摄图像也不会得到很大的损失。

然后就是提供更精准的座舱监控技术。

可以看到,这一监控能够追踪驾驶员的目光方向。

不仅如此,连眨眼速度也能监控,这可是传统的监控解决方案做不到的。

这就是普诺飞思联合Xperi开发的全球首个基于神经拟态视觉系统的驾驶员监控解决方案。

还有基于事件的高级驾驶辅助系统,增强了现有的雷达激光雷达摄像头系统,能够更快速、准确地理解周围的环境。

通过细胞实时无菌检测实现的下一代细胞疗法,用于减少医疗制品的生产成本:

也有失明患者借助将基因疗法、光刺激医疗设备、以及普诺飞思传感器结合起来的光遗传疗法恢复了部分视力。

除此之外,工业上也有这种传感器的应用:

比如对于一些不能直接接触的大型机械(如高压环境)可以做非接触性的振动检测

在焊接上也可以做到引导和质检。

这是怎样的一个公司

普诺飞思(Prophesee)是一个7年前在巴黎创立的公司。

这家科技公司致力于神经拟态视觉系统的研发,其基于事件的视觉传感器已应用在摄影、自动驾驶工业自动化、医疗等多个领域。

公司CEO兼联合创始人Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位。

还曾任丰田汽车公司和Altis半导体公司工程师

在7月6日这场发布会上,普诺飞思宣布C轮融资,由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码。

这也是今年继DeepMind之后,又一家能走进中国视野的欧洲AI创业公司。

创新工场董事长兼CEO李开复博士表示:

普诺飞思在神经拟态视觉领域的先进技术,将为AI和机器视觉技术的发展开创更多的可能性与机会,帮助更多行业实现自动化、安全以及效率方面的提升。

相关推荐

电子产业图谱