边缘AI推理趋势下，GDDR7内存有望胜出？

AI大模型的复杂度和精度不断提高，导致了训练数据量和计算量急剧增加，进一步促使了云端计算资源的集中使用。与此同时，随着硬件技术的进步和模型技术的发展，边缘计算在低延迟、高带宽、隐私保护等方面展现出较强优势，使得大模型在边缘端的推理逐渐成为可能，也进一步推动了AI推理向边缘下沉的趋势，以降低对云端计算的依赖、提高系统的响应速度。

在边缘进行AI推理意味着一系列重要的变革，内存创新首当其冲，不论是内存的带宽、容量、功耗管理，还是安全性、稳定性等方面，AI边缘推理需要新的内存技术来提供支持。日前，Rambus半导体IP产品管理总监 Nidish Kamath在接受<与非网>采访时表示，GDDR7技术有望在边缘AI推理中发挥重要作用。

Rambus半导体IP产品管理总监   Nidish Kamath

边缘计算，四大内存需求凸显

“对于AI训练来说，内存带宽和容量至关重要；而AI推理方面，尤其是需要实时操作时，内存吞吐速度和低延迟则非常关键”，Nidish Kamath表示，“随着AI驱动的边缘和终端应用越来越多地运行推理时，兼具出色带宽和延迟表现的内存解决方案将成为首要需求。”

相对于云端AI来说，边缘AI存在非常多样化的应用场景，包括视觉/图像处理、实时计算、大规模存储和网络相关应用等，这对内存技术带来哪些特定需求？

Nidish Kamath表示，目前主要体现在四方面：首先是高带宽，对于图像/图片处理，以及实时计算来说，需要高内存带宽去应对海量数据；其次是低延迟，内存访问延迟必须被最小化，以支持实时决策和响应能力；第三是能源效率，边缘设备通常由电池供电或在资源受限的环境下运行，所以内存技术必须做到节能；第四是可靠性，边缘设备可能在苛刻条件下运行，所以内存技术必须可靠且能抵御环境因素影响。

GDDR内存的“胜算”

对于当前主流的内存技术来说，它们各有所长，但是应用到边缘计算场景中，还要结合具体需求来综合考量。例如：

• DDR内存被广泛应用于台式机、笔记本电脑以及数据中心服务器，它平衡了性能、功耗和成本，成为各大应用的多功能齐备的选择。不过，它在满足密集型边缘计算任务高带宽需求时有不足。
• LPDDR内存为低功耗而设计，成为电池设备的理想选择，已被广泛应用于智能手机、平板和笔记本中。尽管它具备高能效，但是无法满足高带宽边缘计算应用的高性能要求。
• 风头正劲的HBM结合了2.5D/3D架构和更广泛的接口，在拥有比GDDR6更低时钟频率的同时，保持了整体更高的吞吐量和每瓦更高的带宽效率。它虽然适用于AI/ML和高性能计算应用，但是成本较高，实施也更为复杂，对于较低密集型任务而言也许并非必需。

这些内存技术给多种AI推理应用带来选择，由于DDR4在笔记本和台式电脑中有长期的应用历史，一些系统往往会采用这种经过实践验证的内存，同时，DDR5也在考虑范围内。另一个选择则是LPDDR，它被应用于数十亿部手机中，目前已迭代至最新的LPDDR5X。

与上述内存技术相比，GDDR作为一款高性能内存解决方案，通过平衡成本、性能和效率等关键因素，可以被应用于多种计算密集型应用。

Nidish Kamath指出，首先，GDDR采用传统2D架构，相比于HBM更复杂的2.5/3D架构，它可以被直接操作，而更低的复杂性和简易操作可以降低成本；其次，在2D架构的内存技术（GDDR,DDR,LPDDR）中，GDDR可以在设备中提供更高带宽，从而支持更高性能；第三，相较于DDR或LPDDR，GDDR可以用更少的内存设备实现目标带宽，因此它有着根据系统设计目标来提供最佳能效的潜能。

最新GDDR7方案实现关键指标突破

“GDDR7内存在带宽的关键参数方面大放异彩，比如通过32Gbps的数据速率和32位的宽接口，GDDR7设备可以提供128GB/s的内存带宽，两倍于其它任何代替解决方案”，Nidish Kamath指出，“对于AI推理，GDDR7内存可以实现更优的速度、带宽和延迟表现。”

Rambus今年4月推出的GDDR7控制器IP，‌进一步针对服务器等所需的内存吞吐量等关键性能进行了优化。它可以提供40Gbps的性能，单个GDDR7内存设备可提供160GB/s的可用带宽。为了最大限度地提高总线效率，该控制器IP使用先进调度算法来重新排序队列中的用户请求，在维持访问限制和一致性规则的同时，会选择处理队列中的下一个最佳请求，以此实现高效率，并将所有请求的延迟时间降至最低。

具体而言，GDDR7内存控制器IP功能包括：

支持以每引脚高达 40 Gb/s 的速率运行；支持包括PAM3和NRZ信号在内的所有GDDR7链路功能；支持多种GDDR7设备尺寸和速率；专门针对各种流量情况进行优化，可实现高效率和低延迟；灵活的AXI接口支持；专门针对各种流量情况进行优化，可实现高效率和低延迟；可靠性、可用性和可维护性（RAS）功能，例如端到端数据路径奇偶校验、存储寄存器奇偶校验保护等；全方位的内存测试支持；提供针对客户和第三方物理层的集合支持。

看好中国市场GDDR7四大应用方向

如何看待GDDR7在中国市场的应用和发展？Nidish Kamath认为主要有以下方向：

首先，AI和ML应用需要高速处理海量数据，而GDDR7的卓越性能可以加速AI模型训练和推理过程。随着AI应用在电信、机器人、汽车等领域持续增长，GDDR7的重要性将日益凸显。

其次是数据中心和云计算，随着中国对云服务器的需求不断增长，数据中心要求更高效和更快速的内存解决方案。GDDR7在提高服务器性能、优化云计算服务的效率和可靠性方面将起到关键作用。

第三是汽车行业，中国是电动车辆的领先市场，并且在自动驾驶技术方面投入巨大。GDDR7在处理自动驾驶车辆的感应器和摄像机生成的海量数据方面至关重要，可以优化决策能力和整体安全性。

第四是高性能计算领域，对于智能计算、科学模拟、金融模型、气候模型等需要较高计算能力的高性能应用来说，GDDR7有明显的容量优势，

“在下一波AI推理浪潮中，新款GDDR7控制器IP将提供服务器和客户端所需的突破性内存吞吐量，提供功能齐全、带宽效率高的解决方案”，Nidish Kamath表示，“随着新方案通过更多内存供应商的模型验证，GDDR7内存技术将取得更进一步的发展。”