3794
DSP（数字信号处理器）与CPU、GPU和FPGA同属于四大主流处理器系列，虽然已经广泛应用于手机、家电、汽车、高铁、工业控制、无人机等诸多领域，但与其他处理器系列相比，明显低调许多，甚至各类控制器、SoC、FPGA正在与其争夺生存空间。与CPU相比，它功能更专一，比FPGA计算效率更高，明明有“一技之长”，为什么一直默默无闻？我国DSP发展现状如何？突破的瓶颈是什么？未来走向如何？与非研究院就此进行深入分析。
国产DSP需求与供应反差巨大
DSP适用于系统较低取样速率、低数据率、多条件操作、处理复杂的多算法任务，能够快速实现对信号的采集、变换、滤波、估值、增强、压缩、识别等处理，以得到符合需要的信号形式。在数字化时代背景下，DSP己成为通信、计算机、消费电子等领域的基础器件。
数据显示，2020年我国DSP芯片市场规模达到136.92亿元，需求量达到34.15亿颗。而国内DSP芯片产量，到2020年，达到0.91亿颗，虽然相比2015年的0.28亿颗，翻了大约3倍之多，但是仍然与庞大的市场规模和需求量形成巨大反差，体现出了强劲的增长潜力和迫切的增长需要。
2015-2020年中国DSP芯片行业市场规模及需求量统计
（来源：智研咨询）
2015-2020年我国DSP芯片产量走势图
（来源：智研咨询）
数字信号处理器并非只局限于音视频领域，它广泛应用于通信与信息系统、信号与信息处理、自动控制、雷达、军事、航空航天、医疗、家用电器等许多领域。从消费结构来看，通信领域是DSP芯片最大的应用领域，2020年占比为56.1%，其次是消费电子级自动控制领域（13.10%）、军事及航天航空领域（6.01%）及仪表仪器领域等（24.79%）。
国产DSP技术体系和基本概况
我国DSP芯片消费量远远高于产量，主要因为该领域一直被德州仪器 (TI)、亚德诺半导体（ADI）、恩智浦（NXP）等国外厂商主导，这些厂商积累了多年的硬件研发经验和完善的软件开发环境，用户生态较为完备。我国发展DSP起步较晚，在军用雷达等领域形成了较高的国产化程度，但是在民用市场亟需突破。
与非研究院统计了当前国内主要DSP企业/机构的基本情况，如下：
国内主要DSP企业/机构概况
（来源：与非研究院，据公开资料和官网信息整理）
上述企业/机构为我国DSP芯片的发展做出了贡献。其中，国家专用集成电路设计工程技术研究中心自上世纪九十年代开始，致力于高性能DSP的研究工作。2000 年起，该中心承担了多项国家重大任务，自主研制成功一系列填补我国多项空白的DSP产品。近年来，该中心根据当前DSP领域的算法需求，提出了完全自主知识产权的AppAISArc指令体系结构，于2014年底研制出了支持该体系结构的5核代数运算微处理器（Mathematics Process Unit，MaPU）产品，峰值计算能力为3000亿次/s。该中心还规划陆续推出基于该体系结构、满足不同应用领域的MaPU系列产品，最高达每秒万亿次的计算能力。
中国电科旗下14所与38所分别研发了“华睿”和“魂芯”系列的DSP芯片。2018年4月，中电科38所的魂芯2号A问世，根据官方资料，一秒钟能完成千亿次浮点操作运算，单核性能超过同类芯片4倍。2020年5月，中电科14所牵头研造的华睿2号DSP成功通过“核高基”课题正式验收。芯片主频为1GHz，每秒可完成4000亿次浮点运算。根据规划，华睿3号将具备万亿次运算能力，进一步向高端芯片领域进军。
湖南进芯电子也属于国内较早从事DSP研发的企业，已成功研制并量产出了以ADP32、AVP32、ADP16为代表的32位定点运算、32位浮点运算及16位定点运算数字信号处理器产品系列，在工业控制等领域带来了更高效、可靠的应用，并降低了开发使用成本。
江苏宏云在MCU、DSP、OFDM通信技术方面都有储备，推出了单核MCU和MCU+DSP双核平台，以及用于移动设备快速充电，电机控制等MCU、DSP SoC芯片，在MCU/DSP架构和指令、移动设备的快速充电管理，以及电力线载波通信等领域都申请了多项发明专利。
近两年，在我国大力发展集成电路产业的背景下，一批新的IC设计企业成立，DSP领域目前以青岛本原、中科昊芯为主要代表。青岛本原核心团队源于中科院，致力于提供高端DSP芯片及解决方案，聚焦新一代高性能领域处理芯片（DSA）和人工智能芯片研发。
中科昊芯是中科院科技成果转化企业，主要基于开源指令集架构RISC-V打造DSP产品，目标应用于图形图像处理、数字信号处理、工业控制及电机驱动、数字电源、消费电子、白色家电等领域。
从以上企业/机构所处地域来看，分布较为均衡，北京4家，江苏2家，上海、山东、安徽、湖南、广东各1家。
国内主要DSP企业/机构地域分布情况
（来源：与非研究院）
独立DSP弱化，被集成成为主流方向
DSP技术发展大致经历了4个阶段：
第一阶段：单核、单运算部件时代，器件内部有一个专用硬件乘法器，一个有运算能力的地址发生器，体系上主要采用哈佛结构；
第二阶段：多运算部件阶段，随着DSP应用不断深入，系统对信号处理运算能力要求快速增加，提高DSP器件运算能力成为主要目标，而增加器件内部运算部件数是提高运算能力的一种最直接、有效的手段；
第三阶段：同构多核阶段，多核处理器允许各个处理器核完成不同任务，增加了处理器应用的灵活性；
第四阶段：异构多核阶段，随着工艺技术进一步提升，在一个芯片上集成不同处理器核成为可能，例如：CPU侧重通用数据处理、DSP侧重数据实时计算，二者结合则可以更大提升处理效率。
历数DSP全球领先厂商TI、ADI的数代产品更新，几乎都经历了这些发展。经过数代产品更迭，DSP目前主要形成两种产品形态：一种是单芯片，另一种是以IP或处理单元的形式集成在SoC中。伴随多核异构趋势的发展，单芯片、独立DSP正在越来越多地转向SoC的一个处理单元。
这一点，也可以从上游IP授权商的商业策略上得到验证。全球DSP IP排名第一的授权商CEVA，从最初关注DSP编程，已经转为关注整个生态系统，在为DSP的应用搭建一个更大的平台。目前，CEVA主要有两种服务方式，一种是通过IP授权给IDM、间接服务于OEM，另一种是通过提供开发工具、技术支持和软件直接或者间接为OEM服务。从生态体系、价值供应链上进一步拓展DSP的应用市场。
来源：CEVA
与非研究院认为，使DSP独立芯片形式弱化的另一个重要推手是FPGA。从器件原理来看，DSP性能依赖于快速地执行大量乘法/累加运算 (MAC) 的能力，单芯片 DSP 具有多个硬件乘法器/累加器单元和附加功能单元。设备所拥有的 MAC 单元越多，执行DSP操作的速度就越快，因为大多数DSP算法都包含多个MAC单元，可以利用许多固有并行性。
随着两大FPGA供应商Xilinx（已被AMD收购）、Altera（已被Intel收购）纷纷在FPGA中添加了硬化MAC块之后，FPGA成了DSP的重要竞争对手。第一个集成快速硬件乘法器的 FPGA器件系列是Xilinx Virtex-II FPGA系列。2001年7月，Xilinx 宣布已经出货了价值 100 万美元的 Virtex-II XC2V6000 FPGA，每个 FPGA 都有 144 个硬化的片上 18×18 位乘法器。这也意味着，包含硬件乘法器的FPGA性能已经超过了当时存在的单芯片DSP。
Altera随后于 2002 年发布了其第一代具有 36×36 位硬件乘法器的 Stratix FPGA。Stratix FPGA 中的硬件乘法器可拆分为 18×18 位或 9×9 位乘法器，以允许更多的 MAC 运算。在本世纪之初，Xilinx 和 Altera的FPGA系列在可以执行的同步 MAC 操作数量上已经远远超过单芯片 DSP。
不过，DSP仍以明显的功耗、成本优势，尤其是在消费领域，继续针对市场需求推出专用的DSP产品。虽然DSP不断失去其作为独立芯片的特性，但事实上已经成为整个半导体产业的驱动力量。DSP内核在SoC中的应用非常普遍，它们虽然没有被看做是DSP芯片，但已经成为了底层的基础技术。
DSP未来趋势及主要增长点
高速、高密集的数据处理需求，正在不断挑战着DSP的性能极限。未来，DSP技术将呈现五大发展趋势：
第一，DSP的集成，越来越多的器件需要内嵌DSP功能，实现形态包括：DSP核或硬件DSP单元。
第二，随着实时算法复杂度的增加、对更多字长和更大的动态范围的需求、产品开发和上市时间的缩短，以及浮点算法成本的不断下降，推动DSP定点算法向浮点算法转化。
第三，低功耗。DSP并非运算性能越高越好，而是需要追求性能和功耗的平衡。很多应用场景中，系统的散热很重要，因此并不能一味追求主频高或多核，更多需要权衡低功耗需求。
第四，物联网时代，DSP对于软件IP保护和安全网络连接的需求在不断增长，未来会更加重视安全特性。
第五，由于产品迭代越来越快，下游客户需要管理的代码越来越多，与此同时，客户在系统集成、测试、调试方面也面临较多的挑战，DSP在未来的设计中需考虑的要点将更为多样化。
伴随上述技术趋势，以及国内大力发展新基建、人工智能等背景下，DSP有望在以下领域迎来发展：
新基建东风下，高端处理器继续寻求突破
根据国家发改委对于信息技术基础设施的定义，处理器等高端芯片成为5G等通信网络基础设施、AI等新技术基础设施、智能计算中心等算力基础设施的核心引擎，这里所指的高端芯片就包括DSP。
在华为早先发布的800G通信模块产品中，就曾展示了自主研发的DSP芯片。据悉，800G 模块的配套芯片主要是光电子通信芯片，用于完成光电信号的转换，属于通信核心器件。据2020Q4情况来看，云计算厂商资本开支仍保持高位，400G数通光模块持续放量，数通光模块景气度将持续上行;并且，5G 建设仍在继续，电信端光模块整体需求有望重新提振，相关通信模块继续增长，都是高端DSP继续发展的关键领域。
万物互联时代，智能控制器的万亿蓝海市场
智能控制器是终端的大脑，是物联网边缘侧不可或缺的“神经中枢”。随着下游市场的快速扩张，行业整体景气度较高，市场空间广阔。 2020年，全球/中国智能控制器市场规模分别高达1.5万亿美元/2.37万亿元。并且，在物联网设备连接数爆发、产业政策持续加码以及智能汽车、家用电器等下游应用持续爆发的背景下，智能控制器有望加速兑现增长潜力。
所谓智能控制器，是指在仪器、设备、装置、系统中，为完成特定用途而设计实现的计算机控制单元，通常以MCU或DSP为核心，经电子加工工艺制造而形成的电子部件。例如：日常使用的电钻、电锯、切割机、割草机等电动工具，以及电视机、洗衣机、冰箱、空调等家电的控制门阀，还有工业设备以及智能建筑对照明回路的调光设置等等，都需要智能控制器的关键控制，使得这些设备更加安全、高效地运作。
随着控制器智能化升级不断深入，传统产品逐渐被智能化、网联化的新产品取代，智能控制器的技术复杂度提升、功能不断丰富；同时，下游产品更新换代速度的加快，也在推动对智能控制器多样化功能的需求。与非研究院认为，反映到上游核心芯片供应商来说，需要具备较强的产品更新和技术升级能力，来满足下游应用需求，以更好地把握智能控制器“量价齐升”的机遇以及格局变迁红利。
顺应AI潮流，抓住智能视觉机遇
DSP在智能视觉领域一个突出的增长点在于视频结构化需求。与非研究院认为，传统的被动监控，逐步将由具有智能视频分析（视频移动探测、跟踪，人的面像识别，人的步态识别，人与物的异常行为及非法滞留的识别，车牌识别等）等功能的主动监控所替代，这样，根据不同监控场景的需要，把后台视频分析嵌入所需摄像机的DSP中，不仅能减少项目的工程量和节省费用，也能取代监控任务中人的大部分工作。这是智能监控对DSP技术发展的新需要。
例如，全球最大DSP IP授权商CEVA已经推出了基于深度神经网络推理硬件引擎和可编程矢量DSP的AI处理器IP，以用于前端设备的深度学习需要，该方案在功耗、性能、灵活性方面都有一定的优势。
瑞芯微的RK1108 IoT开发平台，就内嵌了CEVA XM4视觉处理器DSP以及瑞芯微的图像算法技术，可以使汽车、安防监控、家用辅助机器人、运动相机、无人机等终端设备具备较高智能视觉能力。
目前，多数厂商都对DSP内部算法进行了多元升级，提升其性能、清晰度、色彩、低照度等方面，使现图像效果更为精细。以往的智能摄像机主要是提高图像质量型，而智能摄像机将具备更加强大的图像处理识别能力和智能因素，为用户提供更多高级的视频分析功能，提高视频监控系统的能力，并使视频资源发挥更大的作用，这些都给DSP下一步的升级指明了方向。
结语
我国发展DSP处理器主要有两大制约因素：一是知识产权。任何处理器都需要指令集，知识产权是绕不过去的核心问题。巨头们的DSP指令集都各不相同，并且不对外授权，因此国产DSP除了要定义自己的指令集，还要构建一整套工具链和生态。二是构建软硬协同的应用生态。在市场迭代加快、应用需求迅速变化的今天，吸引更多开发者、并发展更多客户，是国产DSP的一个更大挑战，需要通过不断的积累、合作和努力去推动。
2020年8月国务院印发的《新时期促进集成电路产业和软件产业高质量发展的若干政策》提出，中国芯片自给率要在2025年达到70%。加快高端芯片的自主研发与国产替代愈发迫切，重要性与日俱增，这些都是摆在国产DSP面前不同于以往的新需求和新挑战。
不过，新基建、智能控制、AI应用等领域都是国产DSP实现高端突破的切入点。这些市场不仅需求广阔，对于实现自主可控的迫切性也更高。一旦在关键行业实现突破，就会形成产业带动效应，加速国产DSP向更多市场领域推广和应用。
在今年的缺芯浪潮中，国内一些用户都在积极寻找国产替代方案。DSP立足于比较成熟的制造和封装工艺，在市场需求倒逼之下，有望迎来新的增长。综上，与非研究院认为，默默无闻的国产DSP有望在时代和市场多重需求和红利之下，迎来新的发展拐点，进一步向高端领域寻求突破。
