272
肇观电子冯歆鹏亲述Feynman深度相机背后的研发故事。
芯东西12月10报道，近日，国产视觉AI芯片公司肇观电子推出了基于NE-D163A芯片的深度3D AI相机Feynman。NE-D163A芯片是肇观电子在今年1月份推出的第二款D系列3D视觉芯片，具有高精度3D深度计算能力、支持200余种通用数学计算和较高的AI计算能力。
在这款芯片加持下，Feynman系列智能深度相机采用主动双目视觉技术，在室内外各种场景均能生成高帧率和高精度的深度图，同时支持端侧AI算法的部署，能够帮助机器人、安防、AR/VR等行业的厂商实现精确定位、避障和分析等需求。芯东西采访到了肇观电子创始人兼CEO冯歆鹏，就Feynman相机研发背后的故事，以及肇观电子对于智能深度相机赛道看法进行了深入地探讨。
▲肇观电子创始人兼CEO冯歆鹏
01.多部门协同，自主研发相机助力客户AI落地
Feynman系列相机的诞生还要从NE-D163A芯片说起。该芯片具备高AI算力和高精度3D深度计算能力，支持200余种通用数学计算。简单来说，NE-D163A芯片在机器人上，可以消除传统近距离盲区，提供周边障碍的位置和距离；在近距离的人脸识别中，假如被测人员张嘴，NE-D163A可以精确识别嘴内外的深度不同。
▲肇观电子NE-D163A视觉AI芯片
芯片很好，也满足了机器人、AR/VR、安防、工业等不同行业的痛点。但是在AI视觉这一新的赛道，相应的模组厂商和系统厂商都不成熟，找上门的终端客户需求也不尽相同。冯歆鹏称：“市场的反馈是，有的客户是有能力自己研发基于芯片的产品，有些客户希望能拿到一个半成品（不光是提供芯片），有些客户就希望拿到一个相机，然后进一步推动他们产品的研发。”
最终，为帮助终端客户实现快速AI落地，肇观电子决定自己做一款3D视觉+AI的智能深度相机。这个决定并不简单，一款合格的智能深度相机除了芯片，还需要面对传感器光路设计、软硬件结合、平衡系统功耗等不同的挑战。可以说做一款智能深度相机，肇观电子要打通一整条产业链，而上一个这么做的是家大业大的英特尔。就算是英特尔，最近也为了专注芯片制造等核心业务，正在缩减RealSense深度相机业务规模，甚至会关停其部门。
▲英特尔RealSense D435（左）与Feynman M1（右）
在产品之外，肇观电子的客户涉及各个不同的行业，仅机器人就既有用于内蒙古强烈光照环境下的智能采集机器人，也有用于冷库中的物流机器人，对环境要求可谓是天差地别。如何挖掘客户需求进行精准地描述，最后加以解决是一个关键的挑战。冯歆鹏透露，为了解决种种挑战，肇观电子动员了很多部门进行研发，最终在NE-D163A芯片的基础上自主完成了算法、光路、硬件、软件、结构、认证等各方面的设计研发。
02.自带高算力AI芯片低成本、功耗产生高清深度图
作为芯片公司的肇观电子，最大化地发挥出了NE-D163A芯片的性能优势。NE-D163A芯片作为主控芯片，内嵌几何和深度引擎DEP、AI加速引擎NPU和视觉加速引擎DSP。在芯片的加持下，Feynman相机自带1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU运算性能，是业界唯一一款内嵌AI和DSP扩展算力的深度相机。这对Feynman的部署起到了关键作用。
▲不同芯片跑经典网络模型每秒处理的图片帧数对比
此前，终端客户如果采用英特尔的RealSense相机，往往需要搭配i7系列的处理器。这种方案对最后终端产品的成本、功耗都不友好，还需要占用处理器带宽，造成延迟等问题。相比之下，内嵌高算力芯片的Feynman应用更加简单，可以直接在端侧处理视觉数据，无需外挂其他处理器，就可以产生性能高达720P 30FPS的深度图。因此Feynman相机既不需要向后传输数据，也降低了终端产品的中控算力要求，对客户来说部署成本和使用成本都更低。Feynman相机整体的功耗水平在2W-3.8W之间，根据所运行的AI模型大小不同有所浮动。同时，在最重要的图像探测上，Feynman相机搭载了散斑结构光、双目红外摄像头IR模组、彩色摄像头RGB全局曝光模组以及惯性测量单元（IMU）等传感器，能够提供多维度的信息。
▲Feynman M1结构图
这些传感器并不是Feynman的探测极限。冯歆鹏强调，NE-D163A芯片支持当前双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等各类传感器，Feynman传感器配置是在功能、性能、成本和功耗四个维度考量后决定的。
当前Feynman相机的传感器可以最大化的满足客户需求，实现如在障碍物到相机仅有10cm的距离下仍能准确分辨等功能。如果客户需要使用其他类型的传感器，Feynman相机也能够满足需求。实测数据显示，Feynman的空洞率仅为0.2%，而同一环境下英特尔的RealSense空洞率在1%左右，这意味着Feynman相机采集到空间位置的有效信息更多。同时，Feynman的深度图具有90°对角的广角视场，比常规深度相机的视野更广。
▲Feynman M1深度图效果
最重要的一点则是，肇观电子对Feynman相机的研发目标就是适应所有他们见过的场景，这里面就包括前文提到的内蒙古10万流明光照环境、冷库中低温环境和黑暗环境等。为此，肇观电子在Feynman相机内部的光路设计上花费了不少心思，使其能够精确地控制补光和传感器曝光。结合NE-D163A芯片的自学习ISP流水线架构，Feynman相机在各种复杂光照环境下均能获得优质的图像。
▲不同光照环境下的图像处理对比图
03.提供高效软件工具链可部署差异化算法
对于智能深度相机这一赛道，冯歆鹏表示看好。从技术发展来看，工厂的高度自动化、万物智联的发展趋势是必然的。在这样的大趋势下，智能设备需要具备视觉能力，甚至要让智能设备自己看懂世界。这一宏伟蓝图的关键，就是视觉系统，也就是智能深度相机。假设全球人口继续增长，每个人周边的智能设备也会越来越多，而这些智能设备都需要具备视觉能力，所以肇观电子对这一赛道的市场前景十分看好。现实来讲，肇观电子已经看到数十家Feynman相机的潜在客户。为了让Feynman相机应用于各个客户，肇观电子提供了Windows、Android、Linux的驱动SDK，客户通过中控直接加载就可实现通信，完成对Feynman相机的部署。
▲Feynman相机对各平台SDK的支持
对于需要利用端侧AI和DSP算力的产品和深度定制的客户，肇观电子则有一套InferStudio™工具链。客户可以通过InferStudio™将自己的神经网络翻译成一个镜像文件，以提供给Feynman相机使用。在整个采访中，冯歆鹏谈到了很多次Feynman相机在研发和落地过程中的挑战和困难，有一部分原因是AI芯片产业链并不完善。
作为芯片公司的肇观电子在Feynman相机的研发过程中，同时扮演了模组厂商、系统厂商的角色。相比卖芯片，基于NE-D163A芯片研制Feynman当然挑战的环节更多，但在冯歆鹏看来，这是肇观电子参与产业链塑形的一个过程，能够帮助更多地客户找到AI落地的正确路径和方法，有着更为实际的意义。
04.结语：肇观电子参与产业链构建解答AI落地挑战
AI将改变各行各业已成为产业共识，但由于产业链不成熟使得AI落地需要花很大力气；如何破解AI落地难的问题一直在困扰整个人工智能行业。对于很多AI芯片玩家的创始人，一方面他们有着深厚的芯片从业经历，另一方面却要面对产业链并不完整的新问题。肇观电子作为AI芯片赛道的参与者，亲身参与了产业链的构建，Feynman相机也是他们对于行业挑战所提交的一份答卷，结果如何值得行业期待。
作者 | 高歌
编辑 | 漠影
