加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 如何让AI真正融入边缘?
    • 边缘AI大模型的应用趋势?
    • 打造灵活、易用边缘AI应用实践
    • 应对未来网络发展需求
    • 从AI协同走向AI助手时代
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

边缘AI还不够,如何让AI真正融入边缘?

08/05 08:00
1330
阅读需 11 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

Gartner数据显示,半导体市场规模在2021年首次突破5000亿美元。预计到2030年,半导体市场规模将翻一番,达到1万亿美元,这背后的主要驱动力是全球数字化转型人工智能结合的新机会。

日前,在第十七届英特尔网络与边缘计算行业大会上,英特尔高级副总裁兼网络与边缘事业部总经理Sachin Katti分享了AI将如何深刻影响全球企业业务模式的观点。他指出,当前的关键在于简化PC、边缘和数据中心部署AI的复杂流程,以实现广泛的AI部署,而这离不开三大支柱:强大的芯片基础、软件定义的简便性以及开放多元的生态系统。

如何让AI真正融入边缘?

英特尔副总裁兼网络与边缘解决方案事业部总经理Dan Rodriguez,英特尔市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威,在接受<与非网>等媒体采访中强调了让AI融入企业现有工作流的重要性、以及构建一个开放生态链的必要性。

数据显示,中国生成式AI投资的年增长率预计达到86.2%,到2026年,全球80%的企业将使用生成式AI,50%的边缘部署将包含AI。这意味着,变革即将到来,如何能让企业快速、便捷地采用AI尤为重要。不仅如此,只有让AI真正融入企业工作流中进行改善,才能更好地创造价值。

Dan Rodriguez指出,当前,企业普遍寻求利用AI解决各种问题,特别是在边缘计算环境中,AI推理可以被广泛部署和使用。但是,只有将AI真正融入企业的工作流中进行改善,才能帮助企业更好的创造价值,比如在自助结账、医疗、员工培训等实际场景中发挥作用。

在这个过程中,如何满足各行各业千差万别的需求?他表示,AI套件的构建非常重要。其中,视觉是关键的应用案例,包括智能停车场、智能社区以及AI增强的结账系统等。视觉分析AI套件提供了微服务,集成流程管理、传感器融合、摄像头管理、特征匹配等功能,可以理解、分析不同的情况,从而能够不断地追踪这些物体。此外,还包括生命科学、媒体和娱乐、制造业等AI套件,能够利用AI技术进行物体追踪、数据分析、视频处理、缺陷检测等任务,以提高效率和创造价值。

Dan Rodriguez强调,构建开放平台是市场发展的关键。一方面,开放系统为客户提供了选择权,能够为用户匹配合适的合作伙伴;另一方面,开放系统鼓励所有人参与并贡献,形成创新的良性循环。通过开放和标准化,最终促进创新和效率的提升。

边缘AI大模型的应用趋势?

随着AI大模型越来越深入到垂直行业,在边缘主要有哪些应用趋势?

郭威认为,大模型落地有三大趋势:首先,解决实际行业问题不仅需要模型训练,推理能力的提升在今年尤为明显,这意味着除了训练出有效的模型外,还需要模型能够在实际应用中快速准确地进行推理;其次,行业落地必然涉及到从端到边缘再到云端的算力平衡分布,垂直大模型的标准应用主要部署在云端,但由于行业落地的需要,AI算力将向边缘和端侧扩展,以满足不同场景的需求;第三,中国市场的大模型落地方面,大模型和实际应用的结合可能会更快,能够较快探索出解决行业痛点的有效途径。

从边缘应用的大模型自身来看,有三大特征,首先模型参数通常较小,主流应用的模型大小为7B(70亿参数),而模型大小的选择主要考虑数据安全性、网络时延和带宽消耗。其次,随着AI技术深入行业应用,通用型大模型将逐渐转变为行业专用型大模型,这些专用模型将针对特定问题进行深入研究,与通用模型的百科全书式覆盖不同。第三,在边缘侧AI大模型的调用方式多样,包括API调用和从底层开始的自定义开发。国内业态变化多样,客户可能会使用云服务厂商的大模型进行自定义更改,或者完全使用开源模型。

同时,AI大模型也驱动了算力集群化的趋势,随之带来了网络设计、内存资源访问和算力资源利用等挑战。

郭威强调,算力集群化趋势下,同时存在算力集群化和算力分散化两个方向。集群化主要发生在数据中心,而分散化则在边缘设备上。英特尔致力于提供支持不同产业的系统,满足边缘和云之间的平衡需求,以及科研等领域对算力和边缘的灵活应用。

应对算力集群化对网络互连要求的提高,英特尔加入了超级以太网联盟(UEC),并计划推出专门针对AI的智能网卡(AI NIC),同时支持Smart NIC和RDMA技术,以及其他配套产品,以满足客户需求。

Dan Rodriguez强调了在网络与边缘计算方面为开发者打造灵活、易用的平台的重要性。他表示,网络与边缘计算是基于标准化的技术,而且是服务器风格的解决方案和平台。他本人在通信领域从业多年,对该领域固定的功能深有体会。英特尔作为供应商,最核心的关注点就是通过网络使相关应用能够可视化,在边缘系统基础上创造更加广泛、开放的生态系统,整合更多资源,提供灵活的平台服务。

打造灵活、易用边缘AI应用实践

正如Dan Rodriguez所说,英特尔在本次大会上展示的两个边缘AI的应用实践:成都工厂缺陷检测方案,和虚拟数智人“小英”,就是英特尔在边缘打造灵活易用AI的体现。

成都工厂的缺陷检测方案目前已经正式部署到产线,并逐步推广到美国和马来西亚工厂。通过英特尔在现场的实时视频连线可以看到,晶圆减薄工艺中的实时切片检测技术,能够在极小的晶圆切片上进行高精度检测,解决了人工肉眼检测的局限性和漏检风险。据介绍,该方案正是基于英特尔边缘控制平台,开发了一套软件定义自动化的检测工具,检测精度高达95%,每小时可检测200片托盘。

下一步,成都工厂对AI大模型在工厂应用的潜力持乐观态度,认为它们可以为设备故障排除,提供多维度的数据查询和分析协助。

另一个边缘AI应用“小英”,是一个基于英特尔酷睿处理器与英特尔锐炫独立显卡(ARC770)技术的“3D”虚拟数智人。它可以完全部署在边缘测,除实现4K 60帧的高清渲染,还在本地集成了大语言模型和RAG技术。

基于英特尔CPU和独立显卡技术,以及在边缘侧部署的大模型和RAG,像小英这样的数字人能够胜任多种工作角色,比如,在营业厅担任客服代表,为顾客提供咨询与服务;在商场担任导购,引导顾客发现心仪的商品;或者在博物馆担任讲解员,为访客带来生动有趣的历史与文化解读。数智人不仅是静态的展示,还能为各行各业增添新的活力与创意,展示出巨大的应用潜力。

应对未来网络发展需求

随着AI技术的发展,特别是智能计算中心的建设,对高速网络产品如光模块的需求迅速增长,市场上已经出现了400G、800G的高速光模块产品。英特尔如何布局未来的网络产品?

郭威谈到,在AI技术出现之前,SmartNIC就已显示出巨大潜力,因为它能将数据处理从CPU卸载到SmartNIC上,减轻CPU的负担。国内主流的SmartNIC方案通常是结合FPGA和英特尔至强D处理器,从去年下半年开始,SmartNIC在云服务提供商(CSP)中的使用量明显增加。

“随着技术发展,从400G到800G,自行开发SmartNIC卡可能不再是最合理的选择,完整的SmartNIC方案可能更符合技术发展路径”,郭威补充,“英特尔的SmartNIC方案最初服务于北美客户,现在正逐渐扩展到其他客户。CSP客户主要集中在美国和中国,英特尔正在与国内头部CSP合作,预计不久将有应用消息发布。”

从AI协同走向AI助手时代

Sachin Katti谈到,我们目前正处在AI协同时代,但要步入AI助手时代,还需要解决一些问题。首先,现在的企业数据依然是存储在本地的,并非公开透明的数据。因此,现有的大型语言模型并没有针对这些本地数据进行过结构化训练,需要在这些数据中融入现有工作流程,为企业提供定制化的解决方案。

英特尔专注于数据处理和分析,知道如何确保数据安全并以高速高效的方式解读数据。并且,英特尔支持企业进行本地数据存储,无需将数据迁移到云端,有助于企业更好地利用AI智能体。

“实际上,这个转变已经开始。全球许多企业都已经进行了尝试,预计在未来一到两年内会看到更多智能体的出现”, Sachin Katti表示。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
FS32K146HAT0MLLT 1 NXP Semiconductors RISC Microcontroller

ECAD模型

下载ECAD模型
$11.53 查看
DSPIC33EP512MU814-I/PH 1 Microchip Technology Inc 16-BIT, FLASH, 60 MHz, MICROCONTROLLER, PQFP144, 16 X 16 MM, 1 MM HEIGHT, LEAD FREE, PLASTIC, TQFP-144

ECAD模型

下载ECAD模型
$13.09 查看
STM32F767ZIT6 1 STMicroelectronics High-performance and DSP with FPU, Arm Cortex-M7 MCU with 2 Mbytes of Flash memory, 216 MHz CPU, Art Accelerator, L1 cache, SDRAM, TFT, JPEG codec, DFSDM

ECAD模型

下载ECAD模型
$25.18 查看
英特尔

英特尔

英特尔在云计算、数据中心、物联网和电脑解决方案方面的创新,为我们所生活的智能互连的数字世界提供支持。

英特尔在云计算、数据中心、物联网和电脑解决方案方面的创新,为我们所生活的智能互连的数字世界提供支持。收起

查看更多

相关推荐

电子产业图谱

与非网资深行业分析师。主要关注人工智能、智能消费电子等领域。电子科技领域专业媒体十余载,善于纵深洞悉行业趋势。欢迎交流~