【一文看懂】什么是近存计算？

随着大数据、人工智能、物联网等领域的飞速发展，传统的冯·诺依曼架构逐渐暴露出一系列瓶颈，尤其是在处理器和内存之间的高延迟和低带宽问题。这种问题被称为“内存墙”问题，严重影响了系统性能的提升。为了解决这一问题，近存计算（Near-Memory Computing，简称NMC）作为一种新型的计算架构应运而生。通过将计算单元紧密集成到内存附近，近存计算能够显著减少数据传输的延迟和能耗，从而提升系统整体的处理效率。

本文将从以下8个方面为您介绍近存计算：

1.  什么是近存计算？

2.  为什么需要存算一体？

3.  近存计算的工作原理

4.  近存计算的优势

5.  近存计算的应用场景

6.  近存计算 vs.边缘计算

7.  近存计算面临的技术挑战

8.  近存计算的发展前景

01、什么是近存计算？

近存计算是一种将计算单元与内存单元尽可能紧密集成的计算架构。在传统计算架构中，处理器和内存通常是分开的，计算任务需要频繁地在处理器和内存之间传输数据，这种频繁的数据传输导致了延迟和能量消耗的增加。而近存计算通过将计算单元直接放置在内存附近，减少了数据的传输距离，降低了内存带宽的压力，提高了系统的整体性能。

简而言之，近存计算就是把处理数据的“计算脑”放得离数据存储的“脑袋”更近，这样计算机可以更快地处理数据，不用像以前那样频繁地来回跑数据。

与传统架构的区别

传统架构：在传统的冯·诺依曼架构中，处理器和内存是分开的，数据在处理器与内存之间频繁传输。每次数据从内存加载到处理器时，都需要时间和能量，随着数据量的增大，性能瓶颈愈发显著。

近存计算架构：在近存计算架构中，计算单元与内存之间的距离大大缩短，数据可以直接在内存附近进行处理，避免了频繁的数据移动。这不仅降低了延迟，也减少了能量消耗，尤其在处理大规模数据时表现尤为突出。

02、为什么需要近存计算？

随着计算需求的不断增加，尤其是在人工智能、大数据分析、深度学习、科学计算等领域，传统的计算架构逐渐暴露出一些性能瓶颈。其中，内存墙问题（即处理器和内存之间的性能差距）成为制约计算效率提升的关键因素之一。因此，近存计算应运而生，成为解决这一瓶颈的重要技术方案。以下是近存计算发展的几个主要驱动力：

解决内存墙问题

传统计算架构（如冯·诺依曼架构）中，计算单元（CPU、GPU等）和内存是分开部署的，数据需要频繁地在两者之间传输。这种数据移动导致了两个主要问题：

延迟：每次数据传输都需要一定的时间，尤其是在处理大规模数据时，延迟非常明显。

带宽瓶颈：随着计算能力的提升，内存带宽无法跟上计算需求，导致系统性能无法得到充分发挥。

近存计算通过将计算单元放置在靠近内存的地方，减少了数据的移动距离，从而降低了延迟，并减轻了内存带宽的压力。这对于大规模数据处理和高性能计算尤为重要。

大数据处理需求

随着大数据时代的到来，越来越多的企业和应用场景需要处理海量数据。这些数据通常需要通过复杂的计算过程（如机器学习、图计算、大规模矩阵运算等）进行分析和处理。传统架构中，数据的频繁传输限制了处理速度，导致整体性能下降。

近存计算能够将计算任务分配到离内存更近的位置，减少了数据在不同计算单元之间的传输时间，进而大幅提升数据处理的速度和效率，尤其是在对实时性和处理能力要求高的场景中。

人工智能与深度学习加速

深度学习和神经网络等人工智能技术的广泛应用，对计算资源提出了更高的要求。特别是在训练大规模AI模型时，海量的训练数据和复杂的计算任务需要非常高的计算能力。

近存计算能够通过在内存旁边直接进行数据处理，显著提高大规模矩阵运算的效率，从而加速AI模型训练过程。由于AI计算任务通常具有高度的并行性，近存计算能够减少处理器和内存之间的频繁数据交换，进而提升计算效率，缩短训练时间。

节能需求

在处理大规模数据时，传统架构需要大量的数据传输，这不仅消耗大量时间，还消耗大量能量。近存计算通过减少数据在内存和处理器之间的传输，降低了系统的能耗。这对于数据中心和大规模计算场景尤为重要，能够有效降低系统的整体功耗。

硬件发展趋势

随着集成电路技术的进步，尤其是3D集成技术和硅通孔（TSV）技术的出现，硬件设计变得更加灵活和高效。通过将计算单元集成到内存附近，近存计算架构能够充分利用现代硬件技术的优势，提升系统的整体性能。

例如，内存计算集成方案（如处理器和内存堆叠）能够实现更快的数据传输速度，并且减少了物理距离的限制。这为近存计算架构的广泛应用提供了有力的硬件支撑。

未来技术需求

量子计算和异构计算等新兴技术的兴起，对计算架构提出了更高的要求。近存计算能够通过减少数据传输延迟和提高计算效率，适应未来更加复杂和高效的计算需求。

分布式计算和大规模并行计算也在逐渐成为未来计算的主流，近存计算为这种高并发计算模式提供了有力支持。

近存计算的必要性源于传统计算架构在处理大规模数据时的局限性，尤其是在面对高速计算需求和海量数据传输时。通过将计算单元靠近内存，近存计算不仅能减少内存墙的影响，提高数据传输效率，还能加速人工智能、深度学习等计算密集型任务的处理过程。此外，近存计算在降低能耗、提升系统性能方面也具有重要优势。随着计算需求的不断增长和硬件技术的持续进步，近存计算有望成为未来计算架构的重要组成部分。

03、近存计算的工作原理

近存计算的基本架构

近存计算的基本架构是一种将计算单元和内存单元紧密集成的方式，旨在减少处理器和内存之间的数据传输延迟，并优化能效。与传统计算架构（即冯·诺依曼架构）不同，近存计算的关键是将计算单元靠近内存或直接集成到内存层中，使得数据处理更高效。

这种架构的整体设计理念是，数据无需长距离传输至处理器进行计算，而是尽量在数据存储位置附近进行计算，缩短数据传输的距离，从而提升数据的访问速度，减少能量消耗，最终提高系统性能。

近存计算的特点

计算单元靠近内存部署：在近存计算架构中，计算资源被放置在内存的旁边，甚至直接集成到内存模块中。这使得数据可以直接在内存中进行处理，而无需像传统架构那样将数据从内存传送到远离内存的处理器中进行计算。

减少数据传输的延迟：传统计算架构中，数据需要在内存和处理器之间频繁传输，这不仅会导致延迟，而且增加了功耗。而近存计算通过减少数据的移动距离，大幅降低了传输延迟，提高了计算速度。

提高内存带宽和能效：由于数据处理发生在内存附近，近存计算可以更好地利用内存带宽，减少数据传输带来的瓶颈。此外，由于减少了远距离传输数据的需求，它在能效方面也表现得更为优秀。

多层次集成与堆叠技术：近存计算架构常常使用先进的集成技术，如3D堆叠技术和硅通孔（TSV）互连。通过将计算单元与内存单元垂直堆叠，可以大大缩短数据传输路径，同时提升数据带宽和系统计算能力。

异构计算资源的结合：在一些近存计算架构中，计算单元不仅限于传统的CPU，还可以包括GPU、FPGA等异构计算资源。这样的结合能够提升不同计算任务的处理效率，尤其是在图计算、深度学习等领域。

优化内存管理和任务调度：由于计算和存储紧密结合，近存计算系统的内存管理和任务调度需要特别优化，以确保计算资源的高效利用。软件层面的改进，如数据局部性优化和内存访问策略，也是近存计算架构的关键。

通过将计算单元与内存紧密集成，近存计算架构能够有效解决传统架构中的内存瓶颈问题，提升系统整体性能，特别是在需要大规模数据处理和高带宽的应用场景中，展现出巨大的优势。

关键技术

为了实现近存计算，几个关键技术至关重要：

3D堆叠技术：3D堆叠技术将多个计算单元和内存单元垂直堆叠，从而在有限的空间内实现更高效的互联。通过将内存和计算单元垂直堆叠，减少了数据传输的距离，增强了数据的带宽。

硅通孔（TSV）互连：硅通孔技术是一种用于垂直连接集成电路芯片的技术，它使得多个芯片层可以通过通孔实现高速的连接。通过这种技术，处理单元和内存层之间的数据传输可以实现更高的带宽和更低的延迟。

内存层集成处理器：近存计算的另一个关键技术是将处理器直接集成到内存层中。这种集成不仅减少了数据在存储和处理器之间的传输时间，还能提供更高的带宽和更低的能耗。

04、近存计算的优势

性能提升

近存计算的设计极大提高了系统的性能，主要体现在以下几个方面：

降低数据访问延迟：由于处理单元与内存单元距离缩短，数据可以更快地访问，减少了因频繁数据传输而产生的延迟。

提高数据处理带宽：近存计算减少了内存和处理器之间的数据传输瓶颈，因此可以提供更高的带宽，特别是在需要处理大规模数据集时，表现尤为显著。

减少能量消耗：传统架构下，数据的频繁传输需要消耗大量的能量，而近存计算通过减少数据传输的频率，从而有效降低了能量消耗。

应用优势

近存计算不仅提升了计算性能，还在多个应用领域展现出了巨大的优势：

大规模数据处理：对于需要处理海量数据的应用，如大数据分析、数据挖掘等，近存计算能显著提高数据处理的效率和响应速度。

机器学习加速：在深度学习和神经网络训练中，数据量巨大且需要频繁地进行矩阵运算，近存计算能极大加速这些计算任务。

图计算优化：图计算是很多现代应用（如社交网络分析、推荐系统等）的基础，近存计算能够通过减少计算中的数据移动，优化图算法的性能。

05 、近存计算的应用场景

人工智能

近存计算在人工智能领域有着广泛的应用，尤其在深度学习和神经网络推理中，能够显著提升计算速度。

深度学习训练：深度学习模型需要大量的计算资源和内存带宽，近存计算通过减少数据传输的延迟，能够加速模型的训练过程。

神经网络推理：在推理阶段，模型需要快速地从内存中加载数据并进行处理。近存计算能够提升推理速度，特别是在实时应用中，如智能语音识别、自动驾驶等。

大规模矩阵运算：矩阵运算是机器学习和深度学习中的核心任务，近存计算通过在内存附近直接处理矩阵，减少了计算中的数据传输，从而提升计算效率。

大数据处理

随着大数据应用的普及，近存计算能够加速大规模数据的处理，特别是在以下方面：

数据库操作：数据库的查询和更新操作需要频繁地访问内存，近存计算能够减少内存访问的延迟，从而提高数据库操作的效率。

数据分析：在数据分析中，尤其是实时数据分析时，近存计算能够以更低的延迟和更高的带宽，支持快速的数据处理和决策。

实时数据处理：例如在金融交易、社交媒体分析等领域，实时数据处理对延迟和带宽要求极高，近存计算能有效满足这些需求。

高性能计算

在科学计算、金融计算等需要大规模计算的领域，近存计算能够发挥巨大的优势：

科学计算：诸如天气预测、物理模拟等科学计算任务需要大量的计算资源和内存带宽，近存计算能够显著提升运算速度，缩短计算时间。

金融计算：高频交易、风险评估等金融应用需要低延迟和高并发，近存计算能够提供所需的计算能力，确保实时处理。

图形渲染：在3D图形渲染和视频编码中，数据的频繁读写和计算要求非常高，近存计算能够减少数据传输延迟，提升渲染效率。

06 、近存计算 vs. 边缘计算

为什么要比较近存计算和边缘计算？

在当前的计算技术发展过程中，低延迟、高效能的数据处理成为许多应用的关键需求。随着人工智能、大数据、物联网（IoT）和自动驾驶等技术的快速发展，如何处理和传输大量数据，同时确保实时性和能效，成为了一个亟待解决的问题。近存计算和边缘计算是两种被广泛研究和应用的技术架构，它们分别从计算单元和数据存储的位置上入手，试图解决传统计算架构中的瓶颈。

虽然这两者在某些应用场景下可能互有交集，它们的设计理念和技术目标却有所不同。近存计算通过将计算单元靠近内存来减少数据传输延迟，提高计算效率，而边缘计算则将计算任务分散到靠近数据源的网络边缘设备上，旨在减少数据传输到云端的时间和带宽压力。

因此，对比这两种技术，能够帮助我们更好地理解它们各自的优势、适用场景及面临的挑战，从而在实际应用中选择最合适的技术方案，或者在某些情况下将两者结合以发挥各自的优势。

近存计算和边缘计算的差异

近存计算主要关注计算与内存的集成，通过将计算单元放置在内存附近来减少数据传输的延迟，提高内存带宽的利用率和系统整体的计算效率。其应用重点是大规模数据处理和高性能计算（如人工智能训练、深度学习、大数据分析等）。近存计算依赖于强大的计算资源和高效的内存管理，技术上侧重硬件集成，如3D堆叠技术、硅通孔等。

边缘计算则侧重于数据处理位置的分布式，将计算资源放置在接近数据源的地方（即“网络边缘”）。这种架构的目的是减少从边缘设备到云端的数据传输延迟，提高实时处理能力，并且降低带宽消耗。边缘计算广泛应用于物联网、智能制造、自动驾驶等领域，主要特点是设备分布广泛、计算资源相对有限。

总结来说，近存计算和边缘计算虽然在某些应用中有所交集（如低延迟和高效处理），但它们的核心目标、技术架构和应用场景存在较大的差异。近存计算关注内存与计算的高效结合，而边缘计算则解决如何在分布式网络边缘进行实时计算的问题。两者可以互补，在一些场景中可能会结合使用，如边缘设备采用近存计算来提升数据处理效率。

07、近存计算面临的技术挑战

硬件挑战

尽管近存计算在提升性能方面有显著优势，但在实现过程中仍面临一些硬件方面的挑战：

集成工艺复杂：将计算单元和内存单元紧密集成需要复杂的制造工艺，尤其是当集成度提高时，制造难度也随之增加。

散热问题：计算单元和内存的高密度集成会导致热量积聚，散热成为一个关键问题，必须设计出高效的散热系统。

成本控制：由于近存计算需要使用先进的技术（如3D堆叠、硅通孔等），这些技术的成本较高，因此如何降低成本，推动大规模应用是一个重要课题。

软件挑战

近存计算的普及不仅需要硬件的支持，还需要软件的适配：

编程模型适配：现有的软件框架和编程模型大多基于传统架构，需要对编程模型进行改进，以便更好地适应近存计算的特性。

任务调度优化：近存计算系统的资源管理和任务调度需要针对其独特的架构进行优化，以确保资源的高效利用。

内存管理：由于计算单元与内存单元紧密集成，内存管理的复杂度增加，如何高效地管理内存和计算资源是设计中的一个难题。

08、近存计算的发展前景

技术趋势

3D集成技术进步：随着3D堆叠技术和硅通孔技术的不断发展，近存计算将进一步优化数据传输效率，提供更高的带宽和更低的延迟。

新型存储器件：未来的新型存储器件，如非易失性内存（NVM）、磁阻随机存取存储器（MRAM）等，将为近存计算提供更快、更可靠的存储方案。

异构计算融合：近存计算将与GPU、FPGA等异构计算资源融合，提升系统的计算能力，并拓展其应用场景。

市场前景

数据中心应用：随着数据中心对计算性能需求的提升，近存计算将成为提升计算效率和能效的关键技术，助力云计算和大数据应用的发展。

边缘计算设备：边缘计算需要低延迟和高带宽，近存计算非常适合应用在边缘设备中，提升其计算和响应能力。

移动终端集成：随着移动设备计算需求的增长，近存计算将在智能手机、可穿戴设备等移动终端中发挥重要作用，提升设备性能。

近存计算作为一种新兴的计算架构，在大数据处理、人工智能、科学计算等领域展现了巨大的潜力。随着相关技术的不断发展，近存计算将在未来成为推动计算机架构发展的重要力量。虽然目前仍面临硬件、软件方面的一些挑战，但随着技术的不断进步，这些挑战有望被逐步克服。未来，近存计算将有望在更多领域得到广泛应用，并成为新一代计算架构的重要组成部分。

扫码关注我们