3756
过去的一年，ChatGPT拉开全民AI的序幕，AI经历“iPhone时刻”。这一年，大佬入局、独角兽“宫斗”、千模大战；这一年，AI芯片已经成为不容忽视的产业力量，对于国产芯片来说，如何“戴着镣铐”前进成为产业突围的重点……这是AI狂奔的一年，也是AI不断刷新认知的一年。
高涨也好，低潮也罢，我们不能孤立地看待这些现象。AI这一波发展背后，是应用的快速变焦，炙手可热的计算机视觉、智能语音等赛道暂时平静，AIGC站上风口，相伴而来的还有无止境的算力焦虑……
只有直面困难，才能更好地走向未来。新年伊始，<与非网>对话AI芯片领域几家明星公司，听他们聊聊AI的难处和新机遇。
AI落地的冰与火
2023年，AI产业在生成式AI驱动下迈向新台阶，迎来了爆发式增长，大语言模型以及多模态大模型成为AI产业发展的重要推手。火爆的同时，国内外大模型在大规模应用和落地时也遇到了实际困难。
千芯科技董事长陈巍认为主要有三类：
第一，实际模型与客户场景的匹配问题。由于大模型精度和幻觉问题，好的大模型业务产品需要与客户协作深度打磨，单纯使用RAG方法和向量数据库增强可能还不够，需要结合Pre-train使用Fine-tune或Instruct-tune，并且模型参数量较大且训练时间较长。
第二，大模型部署的成本问题。大部分AI厂商面临大模型部署成本较高的问题，通常需要7nm或工艺更先进的算力芯片、12GB以上的存储，部署越多可能利润越低。
第三，国际大环境的客户需求下降和下行问题，当然这也是国际和国内普遍遇到的情况，不仅限于AI产业。
千芯科技董事长 陈巍
“受到大的经济形势、芯片行业周期的影响，整体来看，AI行业的落地和发展，今年还是低于预期的，不少下游环节反映，AI特性在应用中并非强需求，市场导入的意愿，在目前的大背景下，并不强烈”，时擎科技总裁于欣表示，“AI还是需要算法和芯片更紧密的耦合，相对而言，前期的一次性投入会比较大。这对AI加速落地，形成了一定的障碍。”
时擎科技总裁 于欣
安谋科技市场总监钱电生认为，大模型带来的挑战主要体现在软硬件两方面：
硬件方面，由于主流的AI芯片都是针对并行计算而设计的，更适用于以卷积神经网络（CNN）为主的架构。而如今到了以Transformer架构为主流的时代，则需要更多串行计算的能力以及足够的存储带宽支持；此外，除了硬件算力的提升以外，如何提升计算的效率以及对内存的利用和优化，是众多硬件厂商在大模型时代所面临的最大挑战。
软件方面，大模型的轻量化、如何兼顾性能及精度、实现大模型在端侧设备的部署等问题，有待进一步解决。
安谋科技市场总监 钱电生
端、边AI将成为硬件厂商布局重点
在Transformer大模型热战于云端之际，业界已经看到了它在端侧、边缘侧的市场机会。如何使Transformer在硬件设备尤其是端侧和边缘侧硬件高效运行，将成为硬件厂商未来的重点方向。
于欣表示，对于人工智能算法而言，模型的“大”和“小”，“专用”和“通用”都是相对的。很多垂直领域，十亿参数量级的“大模型”开始在边、端部署。未来1-2年，时擎科技会继续基于语音、视觉、影像等多模态智能交互和信号处理的应用落地。同时，也会密切关注并积极布局大模型在端侧推理的进展。
钱电生认为，未来一到两年，在硬件及架构层面，伴随着算力低成本、隐私、及时响应等需求攀升，大模型的推理会逐步从云端向端侧及边缘侧转移，未来大模型推理市场规模远远大于训练市场已成为业内共识。
Transformer仍是大模型的主流基础架构，业界需要重点关注端侧硬件对Transformer架构的持续优化所带来的算力效率提升。同时，也需要关注下一代新架构的动态，例如微软的RetNet、斯坦福的Mamba等，是否有机会挑战Transformer的主流地位以及可能对硬件架构设计产生的影响有待进一步关注。
软件层面，钱电生强调，“大模型轻量化将成为规模化扩展的关键，有望进一步降低应用成本并带动端侧算力发展，业界需要重点关注大模型轻量化前沿技术与公司产品的深度融合，例如大语言模型推理框架、模型量化压缩的最新算法等。”
同时，面临Meta公司LLaMA为代表的大模型引领的开源风潮，他认为需要继续重点关注新的开源大模型，特别是面向端侧的大模型(参数量<70亿)的性能表现，以及在手机、PC、智能汽车等智能终端上落地的应用场景。
在多模态领域，以Stable Diffusion为代表的开源扩散模型已成为文生图领域的主流，未来，需要进一步关注多模态领域文生图、文生视频的最新技术趋势及端侧落地的应用场景。
人才、高性价比算力是当前竞争核心
结合AI产业当前的现实因素，哪些是稀缺动力？陈巍认为，核心是人才和高性价比的算力。从OpenAI的“宫斗戏”可以看到，人才是极力争夺的关键，而不是数据和算法。对国内市场来说，缺乏的不仅是算法人才，更多是算法应用和工程人才。虽然很多开源大模型已经做得很不错了，但是落地时缺少合适的人才把大模型的优势发挥出来。
此外是高性价比的算力。国内很多厂商已经开始大举进入AI领域，但在算力方面，受限于成本和可用的计算卡，推进速度相对慢一些。特别是国内有些优秀的开源大模型团队，由于缺乏算力支持，有些很好的想法可能不一定有条件尝试。
“也正因算力受限，国内的AI产业，特别是大模型技术的发展有些延缓”，陈巍谈到，“尽管我们开玩笑是‘百模大战’、‘千模大战’，但实际上针对国内场景进行了大规模底层Pre-train的国内模型还较少，这使得国内大模型的落地速度也有一定的延缓。”
前景远大光明，道路曲折漫长
辩证看待AI产业当前的发展现状，其实困难往往也意味着新的机会。
陈巍谈到，目前来看，解决大模型的精度和幻觉都需要更大的算力。积极效应是对新架构技术的发展产生了明显推动作用：一方面，越来越多国内AI产业玩家在寻找能代替GPGPU的高性价比方案；另一方面，也在积极研究能降低算力需求的新型模型。在市场客户需求带动下，同时给国内AI产业和算力芯片的快速发展带来了契机。
IP层面如何克服大模型的挑战？钱电生表示，布局大模型相关的技术路线是必不可少的举措，产品层面要更好地支持以Transformer为主的模型架构，比如在下一代“周易”NPU的设计上，安谋科技将会从精度、带宽、调度管理、算子支持等多方面对主流大模型架构进行迭代优化。同时，IP厂商还需要联合大模型算法厂商、模型轻量化厂商、OS/应用侧厂商等产业链合作伙伴在生态层面进行深入合作，打造软硬一体的端侧大模型解决方案。
于欣认为，只有把技术、场景和成本三者进行更深度的有机融合，形成自己的技术壁垒，才能避免陷入到单纯的价格战，从而有利于行业长期的发展。未来，一定还是场景驱动技术，而不是相反。这要求上游从业者深刻理解场景和业务模式，甄别形形色色的需求，去伪存真，在这个基础上去打磨底层的算法、处理器、芯片，形成自己的差异化的竞争优势，才有可能在激烈的市场竞争中破局突围。
“随着AIGC元年的到来，未来5-10年会是AI行业发展的一个崭新阶段，AI芯片作为算力的基石，也一定会有更多的机会等待从业者去挖掘”，于欣强调，“用一句话来形容目前AI产业的发展，我认为是‘前景远大光明，道路曲折漫长’。”
下载ECAD模型
