AI运算最关键之处是存储而非AI处理器本身,AI运算90%的功耗和延迟都来自存储或者说都来自数据的搬运。90%的工况下,AI处理器都在等待存储系统搬运数据,而运算系统所需要的时间几乎是可以忽略的,所以存储系统的好坏实际决定了真实的算力大小,其中存储带宽基本可以等同于存储系统的好坏,也基本等同真实算力的高低。在Transformer时代,模型参数至少10亿以上,模型至少1GB大小,存储带宽也决定了能不能运行Transformer。此外,存储还决定了功耗,根据英特尔的研究表明,AI芯片(加速器)当半导体工艺达到 7nm 时,数据搬运功耗高达 35pJ/bit,占总功耗的63.7%。