827
2016年，“阿尔法狗（AlphaGo）”与李世石的围棋对决，让人工智能（AI）和深度学习进入了大众的视野。Gartner在最新报告中指出，预计到2022年，人工智能软件市场的营收或达到625亿美元，预计较2021年增长21.3% 。
AI技术的快速创新对FPGA市场有利
AI市场火热的背后，我们常常会看到FPGA的身影，这就是今天说的“AI技术的快速创新对FPGA市场有利”的一个前提。
而FPGA可以配合AI技术随时为用户提供最佳体验。由于AI不断的技术创新，会不断带来新的实现方式，而新的实现方式的产生需要有更快的硬件和优化的算法来实现，这些优化的算法如果纯粹只是停留在软件，或者是大型CPU的计算方法上的话，对于实际的落地，尤其是对于边缘端的部署，其实是比较大的挑战。
图 | AI模型的快速发展
从上图中，大家可以看到AI模型的快速发展史，从2012到2021年，AI分类模型创新的数量逐年递增。
网络边缘侧的AI应用更离不开FPGA
我们看到网络边缘的计算正在快速兴起，有很多新的应用都在边缘端发展出新的应用和使用场景。ABI的研究调查表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。
面对客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用的现实，我们发现网络边缘侧的AI应用是离不开FPGA的，这是因为边缘端对功耗的敏感度和尺寸的大小的要求是比较严格的。
图 | 为什么选择FPGA实现网络边缘AI
对比市场上的存量产品，就以Lattice的网络边缘AI产品来说，它的功耗范围可达1mW到1W，目前只有ASIC才有可能替换FPGA，但是ASIC目前还不能做到将使用场景固态化，并且和ASIC相比，FPGA的性能和效率是比较强的。而除了ASIC的器件外，其他的器件都不能实现。
比如我们常提到的CPU，与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思FPGA上运行的AI计算设备的电池使用时间可延长28%。sensAI还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。
Lattice推sensAI v4.1解决方案集合，助力AI/ML发展
近日，Lattice再次更新了sensAI的版本，升级至sensAI v4.1。sensAI 4.1将会增加支持Lattice 今年刚刚推出的CetusPro-NX器件，而CetusPro-NX器件不仅容量方面有所提升，同时计算的能力和功效也提高不少。在这款器件的基础上，Lattice还推出了相对应的开发板——声音和视觉机器学习板，并配套CNN Plus加速器，以及相对应的sensAI Studio。
图 | Lattice sensAI解决方案集合
总结sensAI v4.1的增强特性和新特性，主要包括以下几个方面：
1、客户端计算AI体验参考设计
用户检测：用户接近或离开设备时会自动启动或关闭客户端设备
注意力追踪：当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间
面部取景：在视频会议应用中提升视频体验
旁边者检测：检测站在设备后面潜在的窥视者，模糊屏幕以保障数据隐私
2、更多应用支持
sensAI 4.1版本在性能和准确度方面的提升有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。
3、易于使用的工具
sensAI还更新了神经网络编译器，支持Lattice sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro™-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。
sensAI v4.1的落地场景和落地途径
Lattice Nexus FPGA和sensAI解决方案集合是开发计算机视觉和传感器融合应用的理想平台，可以提升用户的参与和协作，保护用户隐私。例如，客户端设备可以分析摄像头采集的图像数据，确定后方人员是否离用户过于靠近，还可以在用户的注意力转移到别处时，模糊屏幕，保护隐私，或者调暗屏幕，延长电池使用时间。据悉，通过注意力追踪可以延长28%的电池寿命。
图 | 电池使用时间与计算机视觉解决方案
为了能够让这款产品在PC上得到落实，Lattice和OEM的、其他芯片厂商、操作系统和软件支持商，以及传感器厂商合作，以保证客户在使用Lattice方案的时候能够很快的把这些方案做出来。
此外，前面也提到过，为了进一步加速落地，Lattice还提供了三个参考设计：人员侦测、注意力追踪和目标分类。同时，在智能家居、智慧城市、工厂、智能汽车这些领域，还将提供相对应的设计服务。
硬件优化的设计方案：将AI的设计方案通过Lattice Radiant和DIAMOND结合之后，产生FPGA比特流，然后再把训练后的模型录进来，这样产生一个类似于中央处理器的功能，而这里产生的量化的权重和指令更多指向于执行的代码，这两个结合之后，可以产生一个AI的体验项目。
软件优化的设计方案：为了便于工程师的开发设计，Lattice专门提供了一个PROPEL的软件，便于大家对于整个内部结果的控制能够进行类似于C代码的控制，而不是使用比较难以上手的FPGA的开发代码，这样的代码是便于初学者能够调用一些基本的指令进行一些控制。左侧更多指的是Lattice的开发AI引擎的一些架构，包括机器学习引擎，以此能够做视觉的收取，同时做软核的控制。
图 | 软件优化的设计方案
Mirametrix副总裁Stephen Morganstein表示：“我们的Glance by Mirametrix注意力感应软件可以捕捉用户的面部、眼睛和凝视动作，从而了解用户的意识和注意力。这项独特的技术开发的智能设备能提供更自然和沉浸式的用户体验和设备交互。莱迪思的sensAI解决方案集合和低功耗FPGA可帮助开发人员实现新颖的AI功能，提高设备的电池寿命。”
写在最后
借用Gartner高级研究主管Alys Woodward的一段话，“AI软件市场正在加速发展，但长期轨迹仍取决于企业AI的成熟度。想要获得成功的话，还得看怎么挑选具体的应用。综合来看，通过提供重要的业务价值扩展、同时降低AI用例的风险，对于AI投资和业务营收的预期影响至关重要。”而像Lattice推出的这一些列采用sensAI技术的产品是促使AI软件市场不断发展的重要基石，尤其是在网络边缘侧。
