Oculi的“软件定义”视觉传感器

在创立Oculi之前，Charbel Rizk是一名自动系统设计师，他对市场上的计算机视觉系统感到失望。传统的传感器通常是为人类使用而设计的，会产生大量数据，导致系统需要更多带宽，延迟也会增加。Rizk能否说服其他系统设计者接受Oculi最初为实现自己的愿望清单而开发的新视觉架构呢？‍

Baltimore的一家初创公司Oculi是约翰-霍普金斯大学研究团队的分支，该公司开发出了一种视觉技术架构，其中传感和处理都位于像素级。该公司称之为传感与处理单元（SPU）。

Oculi创始人兼CEO Charbel Rizk说：“我的主张是，我们将始终实现功耗、带宽、延迟和最终成本最低的计算机视觉解决方案，并保护隐私。”

这是传感与处理领域众多玩家的大话题，他们都在广泛的嵌入式系统中追求终极的AI解决方案。

SPU方法颠覆了机器视觉和成像传感器市场数十年的惯例。

传统供应商竞相制造更高分辨率的传感器，同时将更多数据传输到处理平台。然后，系统供应商获取输出，并在传感器外部的处理器上运行算法。这样，系统就可以提取他们可以使用的信息。

这一过程导致了永无止境的百万像素竞争，对从传感器向感知模块传输数据的带宽的需求不断增长（导致延迟），以及最后为提高运行更好或更强大算法所需的处理能力（从而带来更大的功耗）而进行的TFLOPS处理器竞赛。

而Oculi则承诺以极低的带宽和延迟实现“实时视觉智能”。例如，Oculi的解决方案使用的带宽仅为每秒千比特（而非千兆比特），延迟时间为微秒而非数十秒。这得益于SPU已经在像素级处理传感和处理。

不过，Oculi的SPU更为出众的地方在于其可编程性。

传感器可以通过软件定义，提供一系列感测输出选项。

Oculi的Rizk指出：“你可以像其他图像传感器一样获得全画幅视频。但你也可以开始获得越来越少的数据，包括我们所说的‘可操作信息’或‘可操作信号’。”简而言之，SPU可以生成最少的数据，但有足够的信息供系统根据这些数据采取行动。

可编程性可持续实时提供。因此，任何使用SPU并需要为某些检测提供更多信息的人，都可以调整设置来增加像素数（从可操作信号到全帧），以及介于两者之间的所有信息。

此外，Oculi的SPU还是独立于传感器的。Rizk介绍，它不仅可以与传统的CMOS传感器配合使用，还可以与红外甚至深度/ToF传感器配合使用。“我们开发的架构可以应用于RGB、红外或深度模式。我们开发的架构可以应用于所有这些模式，我们已经在实际的硬件原型中进行了演示。”

Rizk 坚持认为，Oculi的目标是简化机器视觉并提高其效率。

但是，在电子工业中，人们习惯于根据适合不同应用的不同模式选择不同的传感器，而SPU所提供的多功能性和可编程性则是既新鲜又陌生的概念。
这就是Oculi的难题所在。

颠覆是要付出代价的‍‍

很多初创公司都将业务建立在“新”技术上，这些技术声称能在现有公司已经发挥重要作用的成熟、明确的细分市场中实现卓越性能。

一家初创公司的技术，其基本架构与行业已知的技术大相径庭，理应被称为“颠覆性”技术。

然而，颠覆是有代价的，会给初创公司的小型工程团队带来巨大压力。他们需要时间和资源，向市场阐明新技术能给产品带来的优势和变化。

更困难的是，在花费了大量精力教育市场之后，并不能保证潜在客户会接受这种颠覆，更不用说费心想象他们如何在自己的硬件或软件应用中利用这种颠覆了。

Rizk承认这一挑战。不过，好消息是，SPU的性能改进不是渐进式的，而是实质性的。Rizk声称：“与市场上最好的传感器和最好的处理器相比，我们的性能有了显著提高（延迟-能量提高了150倍到600多倍）。

这位CEO还补充说：“对于任何需要保护隐私的应用，目前唯一的选择就是使用雷达或激光雷达，但这两种设备都要昂贵、复杂得多，而且提供的视觉智能也很有限。SPU可以填补这一空白。”

三十年未解决的问题‍‍

Oculi是一家自信满满的公司，其基础是Rizk及其团队在2019年创立Oculi之前在约翰霍普金斯大学进行了长达十八年的研究。

在介绍Oculi时，Rizk强调了自己几十年来在计算机视觉系统方面遇到的挫折。三十多年前，在设计一架完全自动的无人机时，“我无法将计算机视觉系统安装在无人机上，因为尽管摄像头相对较小，但所需的处理量和功耗却使其不切实际”。三十年后，Rizk说：“我在约翰霍普金斯大学教我的学生如何做机器人。这些完全自动的机器人实际上相对复杂。它们能完成很多任务。然而，它们却没有搭载视觉技术。”他解释说，问题在于，尽管机器人的摄像头本身体积小、价格便宜，但随后的处理过程在成本和功耗方面都很昂贵。

三十年过去了，计算机视觉的挑战依然存在。“计算机视觉没有意识到应该聚焦在哪里，应该寻找什么，应该捕捉什么信息。因此，它捕捉了一切。这也阻碍了算法的实际发展。他们将更多的处理能力投入其中，与边缘计算机视觉应该做的事情背道而驰。”

Rizk的专业经验涵盖无人机、机器学习、传感器融合和自动感知，他一直是个“系统”专家。他曾在Rockwell Aerospace、McDonnell Douglas、Boeing和约翰霍普金斯大学应用物理实验室做出过重要贡献。

Rizk强调，SPU不是在真空中开发出来的。他解释说，他的目标始终是开发机器视觉的最佳架构（从光子到可执行信号或眼睛+大脑），“也是完全可编程的”。

他说：”传感器上的智能是解决成像传感器数据泛滥的必要条件，而数据泛滥是造成延迟、功耗和成本的罪魁祸首。”

但为什么要坚持可编程性呢？

他说，首先，他希望实现“动态优化”。没有一个单一的、可重复的用例需要传感器做同样的事情。其次，他想让一个硬件支持多个市场和产品。

几年前汽车行业的经历就是一个很好的例子。Rizk说：“汽车上的所有摄像头都开始出现LED闪烁的问题，所有图像传感器供应商都不得不回到绘图板上，开发具有闪烁缓解功能的新传感器。在这方面，SPU的灵活性和可编程性可能会有所帮助。”他认为，LED闪烁不可能是车厂面临的最后一个问题。

Prophesee与Oculi‍‍

在SPU的动态数据输出中，事件触发数据是其中之一。与Prophesee一样，Oculi也采用了集成神经形态传感和处理技术。‍

不过，Rizk坚持认为，将Oculi与Prophesee相提并论是一种误导。他指出：“这是苹果与香蕉的比较。”

也许是这样，但分析界还是将Oculi归入了事件传感器公司一类。

Yole Intelligence全球半导体首席分析师Pierre Cambou称Oculi的技术是“基于事件的传感器，与Prophesee开发的方法类似。但IP可能有所不同。

Yole Intelligence成像部高级技术与市场分析师Florian Domengie对此表示赞同。Oculi采用的事件模式原理与其他动态视觉传感器相同，“如果像素的光电流发生显著变化，它就会输出一个尖峰，整个像素可以独立地、异步地点亮。”Domengie补充说，“这里的不同之处在于，Oculi的架构可以部署在各种传感器上，包括RGB、深度和类似Prophesee的基于事件的传感器，具有像素级可编程处理功能。”

Prophesee的业务是推广事件传感器，而Oculi则侧重于其SPU的可编程性或软件定义方面。SPU提供一系列感测输出，从全画幅图像（Prophesee没有）和基于事件的数据，一直到Oculi的可操作信息和可操作信号。后两种数据类型大幅减少，但仍保留了公司所需的信息系统，具体取决于应用情况。

Rizk承认，他一直在拉开Oculi与事件传感器的距离。他指出，尽管市场已经意识到事件传感器的重要性，但市场还未形成。在他看来，许多投资者和对该技术进行过评估的人或多或少已经到了幻想破灭的阶段。

Rizk指出，当Oculi被误认为是“另一家事件传感器公司”时，它在融资和吸引客户方面都遇到了困难。

幸运的是，在Oculi推出之前，其技术开发已经获得了4000万美元的支持。此后，Oculi又筹集了约450万美元。它已经拥有了第一代SPU的真正硬件，由Global Foundries使用其55nm CMOS工艺技术制造。

Oculi的下一步

Oculi不仅展示了其SPU，还在各种应用中进行了概念验证，使其能够展示SPU在许多计算机/机器视觉应用中的不同之处。

这些应用包括人员检测、AR/VR和智能交通基础设施。这些应用甚至包括将“眼睛”（SPU）放置在目前不可能使用摄像头的地方。Rizk解释说：“想想目前使用接近传感器或运动传感器的一些传统应用，比如经常不打开的水龙头，以及对所有运动而不只是对人的接近做出反应的自动滑门。SPU可以增加情景感知功能，只提取必要的信息来触发系统。”

Rizk说：“现在有很多使用案例。”作为一家小公司，我们现在面临的挑战只是如何选择我们首先要关注的用例。有鉴于此，我们不能继续与这么多公司共舞。”

Oculi迄今走过的道路并不平坦。但由于该公司看到了SPU可以进入的大量应用领域，CEO表示，Oculi将在未来几周内决定团队将重点关注的最初应用领域。