推理芯片

• Groq芯片的创新意义
  

  前一阵子，Groq芯片刷屏了，据说Groq芯片计算速度远远超过英伟达GPU，经网友测试，Groq每秒生成速度接近500 tok/s，碾压GPT-4的40 tok/s。Groq是一家成立于2016年的AI创企，据其官网介绍，LPU是一种专为AI推理所设计的芯片。LPU的工作原理与GPU截然不同。它采用了时序指令集计算机（Temporal Instruction Set Computer）架构，这意味着它无需像使用高带宽存储器（HBM）的GPU那样频繁地从内存中加载数据。

  土人观芯

  3023

  03/01 13:18

  推理芯片 LPU
• AI推理速度提升超10倍，Groq LPU能否取代英伟达GPU？
  

  2月20日消息，美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注。其最具特色之处在于，采用了全新的Tensor Streaming Architecture (TSA) 架构，以及拥有超高带宽的SRAM，从而使得其对于大模型的推理速度提高了10倍以上，甚至超越了英伟达的GPU。

  芯智讯

  3265

  02/21 14:30

  大模型 SRAM
• 产业丨AI推理芯片，下一个[群模共舞]的入场券
  

  生产大模型并不是终极目标，让它在各行各业中大展拳脚、发挥出实用价值才是最终追求。

  AI芯天下

  1987

  2023/12/01

  AI芯片 AI大模型
• 云天励飞发布大模型推理芯片：14nm Chiplet架构，国内首创！
  

  11月15日，在第25界高交会上，云天励飞重磅发布新一代自主可控的面向边缘人工智能（AI）推理芯片DeepEdge10系列，最高算力可达48TOPS，支持D2D/C2C Mash互联扩展，可以满足千亿参数的大模型部署需求。

  芯智讯

  3576

  2023/11/16

  AI芯片 大模型
• 大模型需求暴增，NPU有望在端边落地部署
  

  ChatGPT的火爆，让人们意识到AI其实有着更高的上限，也让业界更多关注到其背后的Transformer大模型。除了云端、除了自然语言处理，业界正在思考：是否可以让Transformer在端侧、边缘侧高效部署？是否可以让Transformer在计算机视觉领域发挥出更大潜能？ 可能吗？爱芯元智已经开始了这一尝试。 Transformer何方神圣？ GPT大模型，全称Generative Pre-t

  张慧娟

  5762

  2023/06/06

  与非观察 AI大模型
• IAR Systems 与嘉楠科技达成合作，支持RISC-V内核高精度AI芯片
  嵌入式开发软件和服务的全球领导者 IAR Systems 与领先的端侧 AI 芯片研发供应商嘉楠科技今天共同宣布，最新推出的 Embedded Workbench for RISC-V 3.11.1版本已支持嘉楠勘智K510芯片，助力开发双核RISC-V 64位 AI 端侧推理芯片。

  与非网编辑

  576

  2022/11/23

  RISC-V AI芯片

正在努力加载...