603
ISP性能已经达到传统算法的极致，引入AI则可以颠覆传统。”
想要在资金、技术、人才门槛“三高”的芯片领域沿着领先者走过的路实现弯道超车，可能性微乎其微，创新则可以颠覆传统。
前博通副总裁、紫光展锐CTO仇肖莘2019年5月创立的爱芯元智（原爱芯科技）仅用时一年四个月就量产了一款可以与竞争对手迭代十多年的高端视觉芯片比拼的产品。
“ISP（Image Signal Processor，图像信号处理器）经过十几二十年的发展性能已经达到传统算法的极致，我们引入AI的方式颠覆传统的ISP设计，同时提升ISP的性能天花板。”爱芯元智创始人兼首席执行官仇肖莘对雷锋网表示。
用AI颠覆传统的ISP，有哪些关键？
1
感知+计算的大市场
爱芯元智（原爱芯科技）成立的2019年并非AI芯片初创公司大量成立的时间点，之所以选择在2019年创业，仇肖莘说，“我非常看好感知+计算芯片的应用前景。ISP是感知的关键，但这个技术沿着传统的方式很难有很大的提升，如果把ISP和AI计算结合起来，不仅能够提升ISP，也有广阔的应用市场，包括智慧交通、智慧城市、运动相机、翻译笔等。”
看好市场的机遇是一方面，仇肖莘的个人经历也决定了爱芯的创立时间。她本硕毕业于清华大学自动化专业，并在美国南加州大学取得了电子工程博士学位。在2018年9月加入紫光展锐任CTO之前，仇肖莘一直在国外工作，曾在AT&T Labs任职并获得研究卓越奖，也曾任博通公司副总裁。2019年，创业并且聚焦感知和计算成为她新的的选择。“我们希望做AI视觉芯片行业的开拓者，同时也坚持长期主义。”仇肖莘说。
明确了目标，坚定了信念后，仇肖莘迅速集结了一批参与过10颗以上的芯片设计和生产的核心成员，业务范围涵盖芯片的设计、生产，软件和硬件。“我现在可以说，爱芯元智已经有非常完整的芯片团队，负责芯片从设计到生产到应用的各个环节。”仇肖莘表示。
团队的完善带来了产品的快速量产。爱芯元智的首颗人工智能视觉芯片AX 630A在2019年8月立项，9个月后的2020年5月流片，7月31号回片后一次成功点亮，12月进入量产状态，今年6月正式风险量产。
“AX630A是我们目前的旗舰产品。这款新品第一版就流片成功，既没有做MPW，也没做任何Metal Fix。”仇肖莘自信的表示。
2
颠覆传统ISP的两大关键
爱芯元智的首款旗舰产品AX630A功耗约3W，可实现57.6TOPS@800MHz 2w4f算力，等效算力到达28.8TOPS@800MHz INT4。如果对比市场同类产品，竞品以int8运行Resnet50的网络，AX630A以混合精度的方式运行Resnet50，在最终精度几乎相同的情况下，爱芯的芯片每秒处理的图像帧数是竞品的十倍多。
能够实现一个数量级性能差距的关键是爱芯元智自研的混合精度NPU以及联合设计的AI ISP。要用AI颠覆ISP，首先需要解决AI芯片面临的内存墙挑战。所谓的内存墙，是由于内存性能远小于计算性能，内存不能高效将数据传输到计算核心，带来高功耗和有效率计算性能不高的问题。
目前业内通过多种方式解决内存墙的挑战，包括存算一体、可重构计算等。爱芯解决内存墙挑战的方式是混合精度。
“AI模型有非常多层，在端侧，目前主流的方式是每一层都读取8位整数（int8），但实际上，在最终模型精度不变的情况下，并不是每一层都需要读取8位数，中间层的数据表达4位甚至2位就足够，不同的层用不同的数据精度表达就是混合精度。”仇肖莘表示，
“采用混合精度设计AI芯片可以降低对内存的需求，比如原来每层网络都读取8位数据，用混合精度表示可能平均只需要4位的精度就足够，这样不仅能够在相同的芯片面积下提供更大的算力而且对内存的带宽需求就可以减少为原来的四分之一，也就解决了内存墙的问题。”
要用混合精度的方式设计AI芯片的挑战在于需要芯片和算法的协同设计，既然是协同设计，就需要同时非常了解算法和芯片架构，用算法指导AI芯片的硬件设计，同时又要思考AI芯片的设计反过来对算法实现的影响。
也就是说，硬件可以提升算法的效率，而算法又可以绕过硬件的限制，这是一个在算法灵活性和硬件效率间寻求最佳平衡点的难题。
“我们是业内第一个设计且量产端侧混合精度AI芯片的公司。”仇肖莘说。
解决AI芯片的内存墙挑战只是第一步，接下来需要思考的是如何将AI与ISP结合超越传统ISP，真正实现颠覆。
“传统的ISP流水线（pipeline）有十几到二十个模块，我们将ISP流水线中最重要的几个模块，包括高动态、3D降噪等AI化处理，将AI处理融入到ISP流水线中。”仇肖莘透露。
爱芯元智ISP负责人、系统架构师张兴解释，“用AI的方式实现ISP流水线中的关键模块，我们就能够不断迭代和优化AI模型，不断提升画质。AX630A从去年7月底回片到现在，我们的模型每半个月更新一版效果，效果实现了质的飞跃。”
仇肖莘说：“如果用传统的方式，我们没有办法在第一代芯片就达到行业内迭代了十多年的高端水平。通过AI定义ISP，我们的第一代芯片就赶上了行业高端ISP，并且在某些性能上实现了超越。”
也就是说，传统ISP需要通过芯片按年来迭代的方式，才能不断完善ISP，而爱芯将ISP中的关键模块AI化，ISP的迭代周期大幅缩短到以周来计算，提升了ISP的迭代速度的同时，还提高了ISP的灵活性能够匹配不同传感器。
“如果是没有协同设计的ISP和NPU，很难实现将ISP流水线中的关键模块软件化或者说AI化。我们之所以率先量产AI ISP不仅因为这两个核心IP都是自主研发，联合设计也非常关键。”仇肖莘特别指出。
“高算力的AI ISP有很多好处，比如可以提升图像的信噪比，把原来被埋在噪声里的信号恢复出来。或者，大算力也能够实现大规模的智能分析，用于智慧城市等。还有，大算力能够满足视频流处理需求的同时，实现更好的夜间视频效果。”
要知道，视频流的处理对ISP有较高要求，每帧的处理时间只有33毫秒，这对ISP是极大的考验。
注：视频截图已做人物隐私保护
从爱芯展示的视频看，AX630A在多路视频结构化智能分析、大规模智能分析和夜间视频效果中确实有显著提升。这款芯片也已经被华东地区的大客户采用。
3
普及AI ISP
“手机业界已经发现在AI算力的支持下，AI算法已经超越了传统ISP算法的效果，因此目前主流的趋势是用AI算法替代传统算法，或者将AI算法与传统算法结合。”张兴指出。
近来，手机业界也掀起了自研芯片潮流，头部手机公司纷纷研发起ISP，本质原因是影像和显示功能是消费者最容易感知，也最愿意买单的功能，自研ISP能够在提升手机影像相关性能的同时实现差异化，并且相比研发SoC，自研ISP的投入产出比最高。
作为率先量产AI ISP的公司，爱芯不会错过这一市场。爱芯的第二款产品，也是其定位主流的产品AX620A也已经在今年5月流片，7月下旬已经回片，目前一切顺利，预计在2022年第一季度客户会出货搭载AX620A的产品。
AX620A的功耗小于1W，可以实现28.8 TOPS @800MHz 2w4f（等效算力 14.4 TOPS @800MHz INT4）的性能，因其主流产品定位AX620A的性能低于AX630A，但因为ISP和NPU都是新一代，所以在单核性能和能效及图像效果上相比旗舰产品AX630A都有所升级。
仇肖莘透露，“我们设计AX620A的时候还是希望能做手机的前处理ISP，所以功耗控制是一个大的设计目标。在这一应用市场，预计明年会有好消息和大家分享。”
AI ISP应用于手机和智慧城市等场景的效果一旦被市场认可，竞争对手就会迅速跟进，这也促进了爱芯的快速成长。“我们一定要比别人超前几步，否则很容易被人追上。我们的目标是在初期迅速让产品成系列，并且有相应的客户支持，客户用起来之后，后续的产品迭代就会比较慎重，每一代产品都需要有亮点。”仇肖莘谈及爱芯的产品规划。
随着爱芯芯片的量产，爱芯的团队人数从年初的140多人迅速扩增到了如今的300人，并且软件团队的人数大约是硬件团队人数的1.5倍左右。
“我们的芯片明年会有比较大的出货量。爱芯元智最终的目标还是成为视觉处理领域的头部企业，所以我们一定要成规模。同时，我们现在选择投资人的时候，也更看重可能带来的协同性。”仇肖莘说。
4
小结
元智的成立时间早已过了AI最热的时间，但爱芯用技术和定位证明，只要满足市场需求的产品就能够迅速获得市场认可。视觉作为AI落地的重要方向，相比许多AI芯片初创公司仅提供AI加速器的方法，爱芯元智的AI ISP使用的场景以及易用性的更加明确，这也是其产品能迅速落地的关键。
不过，要发挥混合精度NPU和AI ISP的优势，还有很多技术关卡需要持续突破，这对成立不久的爱芯来说，有大量软件层面的工作需要做，对使用的客户来说，也有一定的技术门槛。
爱芯元智已经用自研核心IP表明了其想要在这一市场做大的决心。能否达成，拭目以待。
作者 |包永刚
