神经形态计算是一种新型的计算范式,它模仿生物神经网络(如人脑)的结构和功能以在为人工智能、机器学习、机器人和感官处理等各种应用实现高性能、低功耗和自适应学习能力。
神经形态计算发展至今经历了四十多年,主要分为三个阶段,模拟计算、数字计算和混合计算。2017年,英特尔第一款自主学习神经芯片Loihi问世。它采用14nm工艺,包含超过20亿个晶体管、13万个神经元和1.28亿个突触,与基于CNN训练人工智能系统的通用计算芯片相比,Loihi芯片的能效提升了1000倍。IBM的TrueNorth芯片、高通Zeroth芯片等等都属于数字计算,即架构在CMOS工艺和器件结构基础上的一种神经形态计算。因为材料和器件本身没有突破,因此仍然受限于能算比低、系统架构复杂等问题。真正的神经形态计算必须采用新型材料构成的带有易失性阻变特性的器件,对生物神经突触的STDP等特性进行行为级的拟态,因此提出了全新的系统和器件设计的范式,并不断突破着能算比的极限。
图1:生物神经系统和神经形态计算对比
神经形态器件是神经形态计算系统的基本模块。它们是模拟生物神经元和突触行为的电子元件,例如尖峰、可塑性和记忆。神经形态器件可以基于不同的技术,例如忆阻器、相变材料、自旋电子学或纳米线。神经形态阵列是实现复杂神经结构和功能的互连神经形态设备的大规模网络。
神经形态计算为神经形态器件和阵列的设计、制造和测试带来了一些挑战和机遇。一方面,神经形态器件和阵列表现出高可变性、非线性、随机性和噪声,这使得它们难以表征和建模。另一方面,神经形态设备和阵列具有独特的优势,例如容错性、鲁棒性和自组织性,需要严格的测试和验证。
例如基于ReRAM的神经形态阵列的主要挑战之一是器件的可变性,这是由电阻开关过程固有的随机性和不均匀性引起的。设备可变性会影响神经计算的准确性和稳定性,并导致性能下降甚至故障。因此,了解设备可变性的来源和影响并开发减轻或利用它的方法非常重要。例如,可以通过优化器件制造工艺、设计参数和操作条件来减少器件可变性。或者,器件可变性可以用作随机性或多样性的来源,以增强神经形态系统的功能和适应性。
除了ReRAM类型之外,目前也可以用神经拟态计算的器件可以有FeRAM类型、有机FET类型、以及更为广泛和多样的二维材料异质集成所形成的阻变器件而构成。
图2:突触权重特性图示
图3:两端口存算器件
研究神经形态阵列的优势
神经形态阵列是一种利用忆阻器器件形成的小规模的、实现类似于大脑神经元连接的集成电路。这种电路具有以下几个优点:
- 可以直接在硬件层面模拟生物神经元的突触可塑性,学习和记忆过程,而无需复杂的软件算法。
- 可以实现并行、分布式、低功耗和高效率的数据处理,适合解决复杂认知功能和任务,如图像识别、语音识别、自然语言处理等。
- 部分器件所形成的阵列可以与现有的CMOS技术兼容,利用其成熟的制造工艺和设计方法,降低开发成本和风险。
为了探索其应用和优势,有必要开发新的测量技术和模块,对忆阻器器件和阵列进行精确和全面的表征和评估。在阵列测试中,和器件测试和表征方法差异主要在如何高效、可靠的“选通”阵列中每个器件,进行参数表征,以及自动化的完成可靠性的相关测试,甚至可以利用测试的平台直接进行神经形态计算的仿真和验证。
- 直流扫描测试:施加从零到最大值或最小值的电压或电流斜坡,并测量相应的电流或电压响应。绘制I-V曲线并分析忆阻器器件的开关行为、迟滞、阈值和非线性。
- 脉冲测试:施加具有指定幅度、宽度、周期和数量的电压或电流脉冲,并测量相应的电流或电压响应。绘制脉冲波形并分析忆阻器器件的瞬态和动态特性,例如开关时间、保持时间、耐久性和可变性。
- 自定义脉冲测试:应用用户定义的具有可变幅度、宽度、周期和数量的脉冲序列,并测量相应的电流或电压响应。绘制脉冲波形并分析忆阻器器件的复杂和非线性行为,例如尖峰定时相关可塑性、学习、记忆和神经形态功能。
- 阵列测试:将电压或电流信号的组合施加到忆阻器阵列的行和列上,并测量每个单元的输出电流。通用的阵列结构如Crossbar等。完成阵列中每个器件的训练,并完成一定的推理任务。同时验证矩阵并性能,例如网络的Sneak Path、串扰、均匀性和可扩展性。
- 算法研究:特别针对于神经形态算法有别于卷积神经网络算法,面对不同的硬件阵列,需要提出统一的、兼容的算法模型并进行验证。
- 灵活高效的集成不同的脉冲激励源:超快电脉冲、光脉冲、压力等,是将神经拟态计算进行的拓展,从“存算”延伸为“感存算”,测试的覆盖度增强,需要高效的兼容不同的外部刺激源到整个测试系统中。
阵列测试方案介绍
Tektronix/Keithley公司提供丰富的测试产品,在神经形态材料(铁电、自旋、有机、二维材料)和器件的科研中得到广泛的运用。而对于阵列测试的需求,目前业内鲜有专业的系统和软件。特别是由于材料、器件的不同、工艺的不同,阵列测试的方法尚未形成统一的方法,主要需要科研工作者自行集成和开发,一定程度上浪费了宝贵的科研资源。Tektronix/Keithley 提供一站式的解决方案,提供灵活的配置方式,提供一套通用的软件平台,并且可以根据特定的测试需求开发软件模块,真正的做到“交钥匙”方案。
DC测试
主要测试阵列中器件的I/V特性曲线,俗称“蝴蝶曲线”,在不同的条件下表征器件的具有“存储”的能力;根据器件的Ion/Ioff的特性和测试精度的要求,可以选择高精度1pA量程的4200A-SMU及高精度放大器 PA;100pA量程可选2600系列源表作为测试主要硬件;源表自身具有一定的脉冲能力,如果考虑到器件自热效应,并且脉宽要求低于100us,2600系列源表可以满足。
AC测试
神经形态计算天然是脉冲。用脉冲方式进行测试不仅可以消除自热效应,更重要的是可以模拟“突触”实际工作的脉冲刺激并测量其响应。因此绝大部分的阵列测试都在脉冲下进行。首先通过脉冲进行阵列中每个器件突触特性的刻画,得到阵列整体的突触特性,可以用于后期仿真算法的开发;进一步可以测量阵列中每个器件的脉冲I/V特性。由于脉冲宽度和幅度要求的不同,可以使用4200-PMU激励和测量脉宽最高到50ns的用例;使用AFG或者AWG,配合外部放大器可以实现50ns~100ps的脉冲激励,并且使用TIA或高灵敏度电流探头集成的方式实现脉冲电流的测量。
在Endurance或Retention测试中,由于是测量阵列长时间、多脉冲下的可靠性特性,往往对Read电流的精度要求很高,用于精准的描述阻变的动力学过程,因此会用到1pA量程下0.01fA分辨率的源表或更高精度的皮安表进行电流测试。因此脉冲电压Set/Reset激励和直流Read电流读取需要在同一个端口进行。4225-RPM是一款集成了电流放大、通道切换的模块,无需更换前端探针或连线可以轻松的实现不同类型信号的测试。
图4:4225-RPM内部结构,SMU和PMU复用一个输出
矩阵开关选择
图5:三端结构(例如:1T1R结构)。左端是仪器连接端,完成信号激励和测量;图中阵列的示意图,WL端可以有DC和AC的激励和测量。
矩阵开关的目的是寻址阵列中特定的器件,对其进行表征和测量的前置条件。引入矩阵开关可以大幅度降低测试的成本和复杂度,有助于标准化探针、探卡的结构,标准化测试流程,提高测试效率。在单独的DC测试中,如果选用2600系列源表作为主要测试机,可以配置3706系列的矩阵开关,漏流小于 100pA;如果选用4200A或者采用AC测试时,需要选择更低漏流、更大带宽、更小杂散电容的707B系列矩阵开关,漏流低于100fA,支持4225-PMU脉冲信号切换。
矩阵开关通道数的选择需要根据阵列规模M x N,以及器件端口数决定。下图是阵列测试组网示意图,仅表示一种通用的连接形式,具体配置请和Tektronix技术专家沟通。
图6:DC测试
图7:AC测试。脉冲Spike的参数化定义
软件功能
软件内置I/V扫描特性功能,在选通待定器件后,在矩阵中自动完成。考虑到Sneak Path的问题,可以通过三端的方式将待测器件“隔离”,或者定制特殊的算法。
软件内置标准突触特性测试,通过PMU进行Reset/Set以及循环,可以在脉冲后通过SMU进行Read操作,准确的测试阻变特性。
自定义波形
软件特别开发了脉冲调试功能,支持更加灵活的脉冲波形编辑和测量。可视化的界面中输入的时序参数立刻可以仿真出来,使用者可以避免制作错误的脉冲参数导致器件的损坏;将波形导入测试程序后,可以定制Read电流的时间和频次,从而快速反馈给用户进行脉冲波形参数的调优。真正做到“ 所见即所得” 。K-pulse编辑KSF波形,+measure的时序;实时debug。
图8:K-pulse可视化脉冲编辑和自定义Read电流设置。
图9:Endurance测试,对Reset和Set两种状态分别测试Endurance
阵列Endurance测试,通过 PMU循环进行Set/ Reset和Read的操作,严格的进行Endurance的测量。测量的时间和需要达到的Endurance的数量级成正比;例 如,MRAM Endurance测试循环在1015量级,如果采用100ns Set/Reset周期,一个测试循环大致500ns,所以总共测试时间为15年!解决方案有更换AFG/AWG加快Set/Reset的脉冲宽度,可以达到100ps级别(根据具体器件的响应时间决定)也可通过小规模的测试,对小样本下的Endurance进行外推,需要PMU有很高的Set/ Reset电压精度和稳定度以及SMU对Read电流的精度,有助于Endurance模型的准确度。
阵列Retention测试,涉及到长时间的周期或非周期的Read,timing参数和周期参数灵活多变。可以根据PMU和SMU的特性灵活调配Read的方式。
同样,对于神经突触的特性测试(STP、STD、LTP、LTD、STDP等)由 timing参数和周期参数多变,在软件提供标准的Pulse测试基础上,需要定制开发测试过程,以及最终的数据呈现方式。
工艺可靠性TDDB等,借助软件标准的测试库,可以灵活的扩展阵列可靠性的测试模块。
器件及阵列测试集成开发环境TMAS
为了降低神经形态器件和阵列测试的复杂度,手动测试对于精度的影响,以及提高测试效率和可重复性,Tektronix公司提供了统一的器件和阵列集成化测试平台TMAS套件,包含ACS-BASIC和器件阵列测试模块。
- 器件电特性参数表征
- 阵列训练及部分推理
- 开放式平台,Python 脚本直写定制测试模块
- 丰富灵活的数据处理
小结
对于Tektronix/Keithley神经形态阵列测试方案应该具有一下特点:
- 测试解决方案应具有灵活性和可扩展性,以适应同的网络规模和设备架构,以及不同的测试功能和参数。
- 测试解决方案应准确可靠,以捕获忆阻器器件的细微动态行为,例如纳秒级脉冲响应、亚皮安电流水平和随机开关现象。
- 测试解决方案应高效且用户友好,以方便数据采集和分析,以及忆阻器器件和网络的优化和验证。
- 易于开发新的测量技术和模块,以克服现有仪器的局限性。
未来希望能将测试解决方案与先进的建模和仿真工具集成,以在不同的抽象和复杂程度上对忆阻器器件和网络进行表征和评估, 探索 Memristor 器件和网络在神经形态计算中的潜在应用和优势,例如突触可塑性、学习和记忆过程的仿真,以及复杂认知功能和任务的实现。