AI训练_AI训练资讯

强攻GPU，TPU芯片一夜蹿红

自ChatGPT爆火之后，AI大模型的研发层出不穷，而在这场“百模大战”激战正酣之际，美国芯片公司英伟达却凭借其GPU在大模型计算中的出色发挥赚得盆满钵满。

半导体产业纵横

3382

08/19 11:10

GPU TPU

AI 2.0时代，服务器DDR5底层架构迎来变革

DDR5 内存模块是第一个在内存模块上集成PMIC的主要内存类型，未来，随着对更高性能和电源效率的需求不断增长，可能会定义新型内存模块。而且，这些模块很有可能继续在模块上集成 PMIC，以进一步优化电源管理并提高整体系统性能。

张慧娟

1430

07/16 10:59

与非观察大模型

H100利用率飙升至75%！英伟达亲自下场FlashAttention三代升级，比标准注意力快16倍

大模型训练推理神作，又更新了！主流大模型都在用的FlashAttention，刚刚升级第三代。时隔一年，FlashAttention-3已经全方位升级。训练速度提升1.5-2倍，FP16下计算吞吐量高达740TFLOPs/s，达理论最大吞吐量75%，更充分利用计算资源，此前只能做到35%。

量子位

1201

07/14 10:25

英伟达大模型

台达研究院阙志克：降伏AI训练“吃电怪兽”靠谁？

数据中心机房内，一排排机柜内线缆虬结、风扇呼啸，灯光闪烁，彻夜不息……当前，这样的数据中心已经遍及世界各地，并仍然在世界头部科技厂商的引领下不断增长。仅在今年6月内，微软就已宣布将在瑞典、马来西亚、西班牙等国家投资建设数据中心，项目投资总金额超140亿美元；同时，英伟达计划在未来5年内投资3万亿美元建设数据中心；亚马逊云科技则规划在未来15年内投入约1500亿美元用于全球数据中心的建设与运营……

中国电子报

500

06/25 11:40

数据中心 AI加速器

黄仁勋“松弛感”演讲谈创新：伟大的智慧是退后一步

在生成式AI的热潮来临之前需要思考：人工智能的背景是什么？深度学习的基础是什么？长期的影响是什么？

张慧娟

5961

06/03 13:02

与非观察 GPU

AI推理，和训练有什么不同？

如果要用一句话概括AI的训练和推理的不同之处，我觉得用“台上一分钟，台下十年功”最为贴切。话说小明已经和心目中的女神交往数年，在邀约女神出门这件事上积累了大量的经验数据，但却依然捉摸不透其中的玄机。借助AI技术，能否实现精准预测呢？小明思考再三，总结出了可能影响女神是否接受邀请的变量：是否节假日，天气不好，太热/太冷了，心情不好，生病了，另有他约，家里来亲戚了......等等。

无线深海

1784

03/26 11:10

AI技术 AI训练

瞬变对AI加速卡供电的影响

图形处理单元(GPU)、张量处理单元(TPU)和其他类型的专用集成电路(ASIC)通过提供并行处理能力来实现高性能计算，以满足加速人工智能(AI)训练和推理工作负载的需求。AI需要大量的算力，尤其是在学习和推理时。这种需求不断地将供电网络的边界推向前所未有的新水平。这些高密度工作负载变得愈加复杂，更高的瞬态需求推动配电网络的每个部分都必须高效运行。AI加速卡严格的功耗要求对系统性能也有影响。本文将讨论AI加速卡的配电网络要求，剖析瞬变的影响，并介绍ADI公司针对这些需求提出的多相供电解决方案。

亚德诺半导体

2262

2023/10/26

AI训练

Eureka！NVIDIA 研究突破为机器人学习注入新动力

NVIDIA Research 开发的一款名为 Eureka 的新型 AI 智能体可以教机器人复杂的技能，它教会了机器人手快速转笔，并且第一次转得像人类一样好。上面视频中所展示的令人惊叹的“魔术”是机器人通过 Eureka 学会熟练完成的近 30 项任务之一，Eureka 可以自动编写奖励算法来训练机器人。