• 正文
    • █ 端侧AI,为什么会爆发?
    • █ 机器人
    • █ AI智能无人零售
    • █ 开发板——端侧AI产品开发神器
    • █ 结语
  • 相关推荐
申请入驻 产业图谱

全面发力端侧AI,这个AIoT厂商给出完美解决方案

04/07 16:46
529
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

前几天看到一个有趣的比喻——

有人将ChatGPT比作iPhone,它的出现,带来了一种全新的概念(大模型/智能手机)。而DeepSeek,则被比作是国产安卓手机,它的作用,是让这个概念真正走进了千家万户。

我个人认为,这个比喻是非常贴切的。今年以来,DeepSeek的横空出世,掀起了一股席卷全球的AI浪潮。它凭借混合专家(MoE)架构、多头潜在注意力(MLA)机制、低精度训练(FP8)策略等技术创新,不仅提升了模型的性能,还大幅降低了训练和推理成本,对AI的发展产生了深远影响。

简单来说,就是DeepSeek让更多的人都能用得起大模型了。随着DeepSeek的火爆出圈,AI落地全面提速,端侧AI更是进入了爆炸式增长的阶段。

█ 端侧AI,为什么会爆发?

对AI稍有了解的读者都知道,大模型的构建和使用,包括了训练和推理两个过程。训练,是通过“投喂”数据,找到更佳的模型参数,让大模型变成可用的状态。推理,则是将大模型投入应用,针对新数据进行预测。

大模型发展的早期阶段,训练和推理都是在云端完成的。端侧AI,则是指将大模型直接部署在终端设备(例如智能手机、售货机、POS机、汽车等)上,在端侧进行推理,以此提供更好的实时响应能力和数据安全性。

端侧AI相比云端AI,主要区别在于算力相对较弱,以及对功耗和成本非常敏感。DeepSeek引领的大模型“平民化”热潮,恰逢其时地解决了这个问题,为端侧AI的发展扫清了障碍。

DeepSeek通过蒸馏技术和算法优化,显著降低了大模型的存储需求与计算量。通过技术开源硬件适配,端侧设备的AI功能集成门槛明显下降了。基于终端设备模组有限的算力,也能够部署一定级别的大模型,满足AI应用场景需求。

我们以业界知名物联网整体解决方案供应商移远通信的方案为例。他们针对不同场景,推出了一系列高中低端AI算力模组。

其中,旗舰边缘计算智能模组SG885G,搭载高通® QCS8550高性能平台,具备高达48 TOPS的综合算力。

SG885G此前已率先成功实现了DeepSeek-R1蒸馏小模型的稳定运行。实测数据显示,其生成tokens的速度超过每秒40个tokens,且未来随着性能的不断优化,速度还将进一步提升,为智能终端设备带来更强大的AI能力。

面向高端的SG560D模组,同样来自高通平台(QCM6490),综合算力可以达到14 TOPS。

移远也有来自国产平台的智能模组。如面向中端的SG530C,采用的就是紫光展锐的UIS7885平台,算力达到8 TOPS。

面对低端场景,移远也能提供对应的方案。例如SG368Z和SC362Z-AP,算力为1 TOPS,适合对成本和功耗有更高要求的场景。

模组的算力,是端侧AI落地的一个前提条件。但更重要的是,需要充分了解用户的需求,在方案设计验证、模型微调、模型部署等方面具备工程化的能力。

移远通信在这些方面已经积累了丰富的经验。

在方案方面,移远针对业界各大主流模型进行了大量验证,摸清了模型的能力边界和适用场景。在用户场景中,如果直接采用现成模型构建方案,会导致严重的精度和准确性问题。而移远会基于用户场景,进行模型微调,确保模型与场景完全匹配,用户能获得最佳体验。

模型部署更是移远的强项。他们深耕行业多年,对垂直行业有非常充分的了解,能够针对不同行业用户的场景需求,进行从小模型到大模型的适配部署。

端侧AI落地,不仅考验硬件算力,也考验软件算法。而算法,是基于数据不断磨合而成熟的。移远通信在算力、算法和数据方面,都具有自身独特的优势,从而形成了强大的市场竞争力,也成为行业用户的合作首选。

接下来,我们不妨从目前端侧AI最火爆的两个应用方向,详细看看移远方案究竟是如何落地的。

█ 机器人

先来看看现在最热门的机器人(具身智能)赛道。

具身智能是机器人智能的理论基础,而机器人是具身智能的物理载体。目前,业界普遍认为,机器人(具身智能)是大模型技术在端侧落地的关键场景,已经进入了高速发展的快车道。

机器人,尤其是服务类机器人,需要与用户进行直接交互,需要应对复杂场景下的感知、决策和控制任务,对实时数据处理有极高的要求。

通过在端侧集成AI大模型,服务机器人能够在本地进行数据处理,大幅降低数据延迟,提高响应速度。用户可以获得更加流畅、智能、高效的机器人服务体验。

移远通信的端侧大模型解决方案,已经成功实现了在服务机器人领域的落地。

该方案基于SG885G模组,融合了前沿的LLM(大语言模型)、RAG(检索增强生成)与Agent(智能体)等业界主流技术,可以实现 “情景理解、知识融合、智能交互、自主决策、任务执行”等多种功能。

在移远端侧大模型解决方案的助力下,服务机器人可实现1s以内的意图识别,解码速率超过15 tokens/s(人的正常语速约为10 tokens/s),语音交互更加自然。

目前,在医疗康养、智能客服、接待导览、零售导购等多个实际场景,移远大模型解决方案赋能的服务机器人,都展现出了强大的应用价值,也吸引了行业内外的广泛关注。

不久前,移远通信联合德壹发布了全球首款搭载端侧大模型的AI具身理疗机器人,就非常有代表性。

这款创新产品支持8自由度3D视觉导航,融合尖端AI技术、中医理疗智慧与具身智能,可以实现“无人化、个性化、精准化”的理疗体验。

这款机器人甚至可以支持无网模式。在没有网络连接、没有理疗师介入的情况下,它都可以快速且准确地理解用户的自然语言指令和意图,高效完成通用聊天、医疗领域RAG问答、指令控制等任务。

此外,德壹机器人还具备很强的观察能力。它借助多模态感知技术(视觉+力控+红外热成像),实时扫描用户身体,精准识别人体经络与穴位。通过结合用户健康数据与实时体征,德壹机器人能够动态生成个性化理疗方案。

目前,在亚健康调理、慢性疼痛缓解、产后康复等多个场景,德壹机器人都已投入商用,为用户提供服务。

█ AI智能无人零售

自动售货机是大家比较常见的一个物联网应用场景。

在多年的发展历程中,自动售货行业经历了从机械式到RFID射频技术、重力感应、静态视觉识别、动态视觉识别等多种商品识别方式的演变。 从静态视觉到动态视觉,均以AI视觉识别能力为基础,且依赖于物联网技术的支撑。

在2025世界移动通信大会(MWC)上,移远通信宣布推出全新AI智能无人零售解决方案,采用的就是前沿的“动态视觉+边缘计算”技术。

该方案采用高性能5G AI算力模组SG560D(同时也兼容其它多款算力模组),依托在自研算法上的深厚技术积累,对硬件推理性能进行了深度优化,可以直接对实时动态视频流进行计算,实现精准商品识别和秒级响应速度,带给消费者“扫码开门、即拿即走”的无缝购物体验。

在SKU(库存单位)方面,该方案经过海量数据的深度训练,具备更强的模型泛化能力,可精准识别上千种商品。方案的模型能力还能持续在线升级,不断拓展可识别商品的种类。

在准确率方面,方案采用“单/双摄像头+智能算法识别”等多重机制,并结合重量等数据进行交叉验证,可以实现高达99%的端到端识别准确率。

在支撑客户运营方面,方案可无缝对接客户应用程序,为其提供全栈式技术与服务支撑,实现实时数据分析,并且能够深度洞察消费偏好。这可以助力客户实现数据驱动的精细化运营,进一步降本增效。

目前,移远AI智能无人零售解决方案已经与兴元科技“喵星人”智能售货机等多家客户产品完成系统集成,并进入实地场景测试阶段。

█ 开发板——端侧AI产品开发神器

除了丰富的AI模组及解决方案,在加速端侧AI应用落地的过程中,移远通信还打造了QuecPi Alpha智能生态开发板,以高效、灵活等优势,推动端侧AI技术不断突破。

在2025世界移动通信大会(MWC)上,该开发板正式面向全球市场发布。

所谓开发板,就是一个开发平台。物联网技术应用于千行百业,每个行业都有不同的场景需求。因此,需要一个开发板平台,进行行业场景下的物联网终端开发技术测试和验证。

尤其是端侧AI落地,很多企业用户都需要一个平台,验证大模型的能力,以及性能、功耗和兼容性表现。

QuecPi Alpha智能生态开发板基于高通跃龙™ QCS6490处理器打造,配备8核CPU,8GB/4GB LPDDR4X内存,AI算力高达12 TOPS。其支持Linux、Ubuntu等多种开源操作系统,并采用高通Adreno™ 642L/643 GPU,在处理图像及视频数据等AI计算任务时,展现出卓越的灵活性和高效性。

QuecPi Alpha可以说是端侧AI产品开发的一个神器,广泛覆盖了AIoT行业的诸多应用场景,如AI边缘计算、工业机器人、服务/陪伴/教育/娱乐机器人、工控、多媒体终端、数字广告牌、智能家居等。

以智慧交通和智能安全为例,QuecPi Alpha能够在复杂场景下快速、精准地识别并标注车辆、车牌、行人等目标物体。它在边缘计算、低延迟处理方面的优异表现,为交通管理等领域的实时决策提供了有力支持。

█ 结语

根据最新数据,全球端侧AI设备市场规模已超过600亿美元,年复合增长率(CAGR)达到22%。预计到2030年,更将超过1500亿美元。

这是一个巨大的市场机遇。想要把握这个机遇,就必须在端侧算力、模型适配、模型部署等方面进行深入研究和持续投入。选择一个好的物联网解决方案,显然能够以最短的周期推出满足用户体验的产品,从而在激烈的市场竞争中脱颖而出。

我们期待这个市场的进一步爆发,加速推动AI的落地和普及,将人类早日带入真正的数智时代。

点赞
收藏
评论
分享
加入交流群
举报

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录

通信行业知名新媒体鲜枣课堂创始人,通信行业资深专家、行业分析师、自媒体作者,《智联天下:移动通信改变中国》丛书作者。通信行业13年工作经验,曾长期任职于中兴通讯股份有限公司,从事2/3/4G及5G相关技术领域方面的研究,曾担任中兴通讯核心网产品线产品经理、能力提升总监、中兴通讯学院二级讲师、中兴通讯高级主任工程师,拥有丰富的行业经验和积累。