硬件架构_硬件架构是什么意思

【客户案例】ALINX VD100低功耗端侧大模型部署方案，运行3B模型功耗仅5W？！

大模型能运行≠用户体验好。 IDC 预测，到 2026 年，全球超过 50% 的企业 AI 工作负载将部署在边缘设备上。在 AI 部署逐渐从云端转向边缘端的趋势下，越来越多智能终端开始尝试在本地运行完整模型，以降低延迟、保护隐私并节省通信成本。但真正落地时却发现：功耗吃紧、模型裁剪严重、开发流程繁琐，使得“能运行”远远达不到“用得好”。基于 ALINX VD100 开发平台，客户打造出一套面向

ALINX 官方

546

09/03 15:52

AI 低功耗

亿铸科技CEO熊大鹏：以AI芯片架构创新，迎接算力增长新拐点

在湾芯展SEMiBAY2024《HBM与存储器技术与应用论坛》上，亿铸科技创始人、董事长兼CEO熊大鹏发表了题为《超越极限：大算力芯片面临的技术挑战和解决策略》的演讲。熊大鹏博士提出，在AI大模型技术的推动下，算力迎来需求拐点，硬件架构将成为满足算力需求的关键路径之一，未来算力增长将以存储单元为中心。大模型时代的机遇与挑战在AI大模型时代，随着数据、算力、参数量的不断提升，模型能力显著增强。

与非网编辑

1240

2024/10/24

芯片设计 AI模型