4475
AI技术的快速发展，特别是在自然语言处理（NLP）和计算机视觉（CV）领域的进步，预示着新一轮换机潮的到来。AI大模型不仅为AI公司带来希望，也为手机和芯片制造商展示了新的商业机会。
消费市场下行，手机厂商集体押宝生成式AI
智能手机市场自2019年以来一直在经历瓶颈期，销量持续下降。2023年第一季度，全球智能手机出货量显著下降。例如，高通2023年第四财季的营收同比下降24%，净利润下降48%；联发科第三季度的营业收入同比减少22.6%，净利润下降40%。在这种背景下，AI技术成为了这些公司的新焦点。在各大手机厂商和芯片厂商的大力推动下，2023年下半年预计推出首批AI手机，而2024至2025年期间将见证更多创新AI应用的实现。
未来学家库兹韦尔预测，到2045年，人工智能的技术将会实现指数级增长，达到一个“奇点时刻”，届时人工智能将超越人类智慧。ChatGPT等高度拟人化的AI模型的流行表明，智能手机中的AI技术将越来越先进。高通CEO Cristiano Amon 在此前强调，AI必须同时在数据中心和本地设备上运行以降低成本，智能手机是分摊AI技术成本的理想选择。
面对市场挑战，手机厂商寻求新的创新周期来引领行业发展。手机厂商目前主要通过语音助手来布局AI大模型，但为了在更多场景中应用AI技术并实现普及，需要端侧和云端的协同合作。端侧AI应用可以弥补云端算法在时延和个性化方面的不足，尤其适用于对延迟性要求高的应用场景，如智能汽车领域。
据瑞银2023年2月份的估计，生成式AI市场规模将达到1万亿美元。但训练成本高昂，尤其是在云端部署的成本。例如，基于生成式AI的搜索引擎企业的搜索查询成本是传统方法的10倍。为了解决这个问题，混合AI结构出现了。它能够将处理任务从云端转移到边缘终端，从而减轻云基础设施的压力和支出。这种结构不仅节省成本，还提供了能耗、性能、隐私、安全和个性化方面的优势。例如，终端侧AI可以确保查询记录和个人信息的安全，还能提供更个性化的用户体验。混合AI架构能够根据模型和查询需求的复杂度，在云端和终端之间灵活地分配处理负载。这种架构的关键在于其能够实现AI的规模化扩展。
手机端侧生成式AI有哪些应用场景？
试想一下这样的未来：大模型加持下的智能助手，让用户可以在手机等智能终端上，做这些事情：通过自然语言，AI助手能自动管理起所有应用，帮你写邮件、写总结文档；帮你办理银行业务；在你想外出时制定行程订好机票。
当然，手机大模型只是个起点，当智能技术逐步扩展到智能家居、智能汽车等智慧生态中，一个“超级终端”或将出现。
终端侧生成式AI 具体应用表，来源：与非研究院
生成式人工智能（AI）正在推动内容生成、搜索和生产力相关应用的发展，并在智能手机、笔记本电脑、PC、汽车、XR设备以及物联网等多种终端品类中发挥着关键作用。混合AI架构使这些终端能够提供全新的增强用户体验。
在智能手机领域，生成式AI的应用正在推动算力的实质性增长，特别是在搜索方面。超过100亿次的每日搜索量中，移动端占据主导地位。基于生成式AI的查询能提供更满意的答案，引发用户搜索方式的变化。随着对话式搜索功能的不断强化，智能手机正逐渐成为真正的数字助手。这些设备不仅能够理解文字和语音，还能处理图像和视频等多种输入模式，提供准确、贴切的回答。
在笔记本电脑和PC领域，生成式AI应用正变革着生产力。例如，Microsoft Office 365通过集成生成式AI，使日常工作流程更加高效。Office用户可以通过大语言模型进行文档编写、电子邮件撰写、数据分析等任务，极大地提高工作效率。这些应用需求推动了大语言模型在终端设备上的应用和发展。
汽车领域中，AI正在提供高度个性化的体验。车载数字助手允许驾驶员和乘客通过免提界面保持无缝互联，同时为汽车生态系统创造新的收入机会。这些助手不仅能访问个人数据，还能处理来自车辆传感器的数据，提供增强的导航体验、自动化提醒和个性化娱乐内容。自动驾驶系统中，生成式AI有助于模拟极端驾驶情况，改进驾驶策略和安全性。
在XR领域，生成式AI正开拓3D内容创作和沉浸式体验的新前景。下一代AI渲染工具能够帮助内容创作者基于文本、语音等提示生成3D物体和场景，创造完整的虚拟世界。同时，文本到文本的大语言模型能为虚拟化身生成自然对话，图像生成模型则为虚拟化身创造外观和服装。
物联网领域正在利用生成式AI改进决策质量、优化运营效率，并创造竞争优势。例如，在零售业，生成式AI可以帮助提升客户和员工体验，通过简单提示帮助商店经理进行商品规划、库存管理和促销活动预测。在能源和公共设施领域，生成式AI有助于创建极端负荷场景，预测电力需求和潜在电网故障，提供优质的客户服务。
端侧生成式AI芯片盘点
各大手机厂商都在积极布局生成式AI。华为最近发布的Mate 60系列手机支持卫星通信，并引入了盘古人工智能大模型。同样，小米、OPPO、vivo、荣耀等厂商也在积极开发手机大模型技术。
荣耀与高通进行了深度合作，共同创新。他们联合优化端侧大模型的推理性能，释放端侧NPU算力，优化NPU调度以实现流畅且省电的大模型应用，同时加强数据通路防护以保护用户隐私。荣耀的大语言模型突出了个性化和直观的交互，强调了隐私的重要性。
小米集团董事长雷军透露，其团队已经成功在手机端运行了大模型，并与高通、联发科深度合作，准备推出端侧AI大模型应用。华为的大模型能力已经嵌入其操作系统，而荣耀也计划在智能手机端部署端侧大模型。
苹果公司也开始招聘大模型技术人才，计划将大模型应用于iPhone和iPad等产品。联发科与vivo合作，推出了配备天玑9300处理器的手机，该处理器具有强大的AI算力，支持70亿参数的AI大模型。联发科还与百度等伙伴合作，加强了其在生成式AI领域的布局。
在日前举行的骁龙峰会上，高通推出了具备深度AI融合的骁龙X Elite搭载AI PC和第三代骁龙8手机芯片。骁龙X Elite的AI PC预计明年中上市，特点包括顶尖性能、长续航、先进通信技术和强大的AI推理能力。它的NPU算力达到75TOPS，支持超过130亿参数的AI模型，AI处理速度是友商的4.5倍。
这种技术使用户能在PC上完成多种任务，如写邮件、周报总结、PPT制作和AI生成图像，即使在无网络环境下也能实现。同时，第三代骁龙8手机芯片支持运行100亿参数的AI模型，小米将首发搭载该芯片。这两款产品的发布标志着AI技术在PC和手机领域的颠覆性进展。
高通的Oryon CPU采用4nm工艺技术，具有12个高性能内核，主频可达3.8GHz，双核增强至4.3GHz。它还具备42MB总缓存和136 GB/s内存带宽，优化多任务处理和高效性能。骁龙X Elite的Hexagon NPU实现了45TOPS的AI性能，其微切片推理技术和张量加速器优化AI工作负载处理。平台还支持5G和Wi-Fi 7，提高移动设备连接效率。
骁龙X Elite强调移动性和电池续航，其处理器调度器有效管理多线程任务，电源管理设计确保长时间电池续航。预计2024年中，OEM厂商将推出搭载骁龙X Elite的PC，这将是AI和移动计算领域的重大突破。
第三代骁龙8移动平台提供行业领先的AI性能，卓越影像特性、主机级游戏体验和专业音频。它在CPU、GPU和AI推理性能上都有显著提升，Adreno GPU的AI计算性能提高了50%。其核心特性包括高通Hexagon NPU，推理速度快98%，每瓦特性能提升40%，支持业内最新的LPDDR5-x内存技术，频率高达4.8GHz。Adreno GPU渲染速度比前代快25%，光追性能提升1.5倍，同时带来25%的能效提升。第三代骁龙8移动平台的终端预计在未来几周内上市。
相比高通，联发科也在近日发布了天玑9300旗舰5G生成式AI移动芯片，采用全大核CPU架构，提供高性能和低功耗。其全大核CPU包括4个Cortex-X4超大核和4个Cortex-A720大核，性能提升40%，功耗节省33%。APU 790支持端侧运行高达330亿参数的AI大模型，NeuroPilot支持多模态生成式AI应用部署。天玑9300的GPU Immortalis-G720性能提升46%，功耗节省40%，拥有旗舰级ISP影像处理器Imagiq 990，支持AI语义分割视频引擎。芯片还集成了MiraVision 990移动显示处理器，支持高刷新率和双屏显示，支持Wi-Fi 7，搭载5G UltraSave 3.0+省电技术，集成双安全芯片，提供高级用户数据安全保护。天玑9300采用台积电第三代4nm制程，支持LPDDR5T 9600Mbps内存，首款采用该芯片的智能手机预计将于2023年底上市。
高通vs联发科生成式AI芯片对比表，来源：与非研究院
从云到端，混合AI成新趋势
在以终端为中心的混合 AI 架构中，云端仅用于分流处理终端无法充分运行的 AI 任务，来源：《混合AI是AI的未来》
结合云端和终端处理能力的人工智能系统，混合AI正在成为AI技术发展的重要方向。荣耀CEO赵明指出，未来的大模型技术将是云侧和端侧相结合，端侧大模型将帮助用户更好地与云侧大模型沟通，提升使用效率，同时保护个人数据隐私。
混合AI的核心优势在于兼顾云端的性能和终端的功耗，实现无缝衔接的AI体验。云端AI和终端AI的边界不断模糊，不同工作负载能在合适的时候调用合适的芯片。高通正在串联不同终端和计算架构，包括手机、汽车、XR等，以及CPU、GPU、NPU等，以及微软、Meta和Google安卓的生态系统。
高通深耕AI领域十多年，认识到实现混合AI架构并非易事。一方面需要具备算法和模型开发技术，能够对AI模型进行压缩。例如，高通研究了生成式对抗网络（GAN）和变分自编码器（VAE），用VAE技术创建了更好的视频和语音编解码器，使模型规模控制在1亿参数以下，适合终端运行。
高通的白皮书《混合AI是AI的未来》阐释了混合AI的重要性。高通产品管理高级副总裁兼AI负责人Ziad Asghar表示，为实现生成式AI的规模化扩展，AI处理的重心正向边缘转移。混合AI架构在云端和边缘终端之间分配并协同处理AI工作负载，能够实现更强大，更高效且高度优化的AI。
混合AI的应用范围广泛，影响着智能手机、笔记本电脑、汽车、XR以及物联网等多个终端品类。例如，智能手机通过生成式AI提升了搜索和数字助手的应用。混合AI不仅节省成本、降低能耗，还提高了可靠性、隐私保护、安全性和个性化体验。
对于基于终端感知的混合 AI，自动语音识别、计算机视觉和文本转语音在终端侧进行。在更先进的版本中，终端侧编排器程序能够向云端提供经过改进且更加个性化的提示，来源：《混合AI是AI的未来》
小米技术委员会AI实验室大模型团队负责人栾剑提到，自研大模型可针对不同硬件调整以达最佳性能，而开源模型无法再调整，使用受限。端侧大模型保护用户隐私，降低成本，但不能解决所有问题。高通、联发科等通过提升量化算法，优化手机能效和性能，但大模型的参数体量对手机硬件、性能要求不断提升。华泰证券报告指出，AI模型的大量计算对总线带宽提出更高要求，持续推理任务将加快设备耗电，拉动电池容量及电源管理芯片升级需求。
对应对端侧大模型进化带来的高要求，小米提出“端云一体化”概念，即AI手机部分能力由端侧模型解决，无法解决的调用云端能力。高通的技术白皮书《混合AI是AI的未来》中指出，生成式AI的发展需要云端和终端协同处理，以实现AI的规模化扩展并发挥最大潜能。
总结，为何手机厂商押宝生成式AI？
目前，智能手机上训练的AI模型还处于试验阶段，未来手机用AI模型预计参数在10亿到100亿之间，应用范围可能相对初级，如语音控制的照片编辑和简单问答功能。手机大模型的发展预示着颠覆性的变革，预示着科幻电影中的AI手机助手逐渐成为现实。华为Mate60系列和Google Pixel 8系列手机展示了AI大模型在手机上的应用。华为的小艺利用大模型增强系统能力，提供资讯摘要、写文章、回复邮件等功能。
手机大模型发展并非一帆风顺，首先面临云端大模型的竞争，如文心一言APP，已有超过百万用户。与本地部署的大模型如小爱同学相比，文心一言APP运算全在云端进行，参数高达2600亿。相较之下，小爱同学的13亿参数量相对轻量化，应用场景有限，目前不支持文生图功能。
其次生成式AI的一个挑战是大模型容易产生“幻觉”，即聊天机器人可能编造信息回应。
此外，将大模型引入语音助手容易，但将百亿级参数的大模型植入手机面临技术挑战。主要包括压缩大模型降低算力要求，以及在算力和功耗上的支持。
目前，主流方案是小型化模型，减小体积。腾讯、百度等互联网大厂也发布了移动端模型及开发/部署工具，推动大模型的轻量化部署。但大模型在手机等终端的能耗是新问题。赵明表示，未来端侧大模型时代，需要在AI智能和续航间做平衡。
为什么各大手机厂商纷纷押宝生成式AI呢？国产高端手机市场中，自研芯片是品牌能力的象征，但政策影响下国产手机放弃了自研芯片的挑战，导致国产手机芯片研发进入低潮。因此，手机厂商选择在影像方面构建差异化，手机大模型为品牌高端化提供新角度。国产大模型相比国外有训练样本多、标注成本低等优势。可以说，手机厂商的AI大模型布局部分上是应对消费需求疲软的自救。
下载ECAD模型
