推理芯片_推理芯片是什么意思

Groq芯片的创新意义

前一阵子，Groq芯片刷屏了，据说Groq芯片计算速度远远超过英伟达GPU，经网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。Groq是一家成立于2016年的AI创企，据其官网介绍，LPU是一种专为AI推理所设计的芯片。LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。

土人观芯

2947

2024/03/01

推理芯片 LPU

AI推理速度提升超10倍，Groq LPU能否取代英伟达GPU？

2月20日消息，美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注。其最具特色之处在于，采用了全新的Tensor Streaming Architecture (TSA) 架构，以及拥有超高带宽的SRAM，从而使得其对于大模型的推理速度提高了10倍以上，甚至超越了英伟达的GPU。

芯智讯

3182

2024/02/21

大模型 SRAM

产业丨AI推理芯片，下一个[群模共舞]的入场券

生产大模型并不是终极目标，让它在各行各业中大展拳脚、发挥出实用价值才是最终追求。

AI芯天下

1870

2023/12/01

AI芯片 AI大模型

云天励飞发布大模型推理芯片：14nm Chiplet架构，国内首创！

11月15日，在第25界高交会上，云天励飞重磅发布新一代自主可控的面向边缘人工智能（AI）推理芯片DeepEdge10系列，最高算力可达48TOPS，支持D2D/C2C Mash互联扩展，可以满足千亿参数的大模型部署需求。

芯智讯

3459

2023/11/16

AI芯片大模型

大模型需求暴增，NPU有望在端边落地部署

ChatGPT的火爆，让人们意识到AI其实有着更高的上限，也让业界更多关注到其背后的Transformer大模型。除了云端、除了自然语言处理，业界正在思考：是否可以让Transformer在端侧、边缘侧高效部署？是否可以让Transformer在计算机视觉领域发挥出更大潜能？可能吗？爱芯元智已经开始了这一尝试。 Transformer何方神圣？ GPT大模型，全称Generative Pre-t

张慧娟

5432

2023/06/06

与非观察 AI大模型

推理芯片

文章