燧原科技今日宣布与人工智能系统软件商清程极智签署战略合作协议,联合开发面向超万亿参数大模型和超大规模集群的高性能系统软件方案。
人工智能大模型在加速提升算法模型的智能化水平和场景泛化性的同时,其日益增长的模型参数、海量的语料库以及广泛的场景需求对人工智能的算力基础设施提出了巨大的挑战,如何使超大规模集群能够同时具备高效率和高性价比成为业界亟需解决的关键问题。
基于此,燧原科技和清程极智签署战略合作协议,致力于共同打造超大规模智算集群的训练方案,针对大模型实际应用场景进行软硬协同的开发与优化。在满足基础大模型的预训练、行业大模型的微调和大模型推理部署等不同的应用场景和多元的算力需求,提供更高性能、更高效率、更高性价比的算力方案。
此次战略合作协议的签署是燧原科技和清程极智进一步深化合作的又一个重要里程碑。此前,双方已经在技术领域开展了重要合作。其中,基于燧原的新一代人工智能推理加速卡“燧原 S60”和清程极智的高性能推理框架“FastDecode”,共同研发了千亿参数规模大模型的高性能推理平台,该平台在不同场景下可实现 1 到 10 倍不等的吞吐量提升,实测的并发量是 vLLM 等开源框架的 4 倍,为进一步降低相关应用场景的算力使用成本提供了可规模落地的技术产品方案。
燧原科技创始人、董事长、CEO 赵立东认为:“随着大语言模型的迅猛发展和模型参数的指数级增长,借助超大规模计算集群来运行复杂模型的需求也日益迫切。清程极智的系统软件方案,有效提升大模型训练和推理算力利用率,显著降低使用成本。燧原科技与清程极智合作,通过创新的技术和优化的算法,面向超万亿参数大模型和超大规模算力集群,携手打造高效、可扩展和稳定的系统软件解决方案,推动生成式人工智能的变革,助力中国数字经济发展。”
“清程极智与燧原科技的战略合作正逢其时,燧原在本土人工智能算力产品及智算集群等方面能力卓越,而我司在分布式训练框架、高性能推理框架、算子优化、通信库优化等软件栈技术与产品方面拥有领先的研发能力。双方优势互补,在联合开发高性能推理软件栈、打造超大规模智算集群,为业界提供高效率、高性价比解决方案方面具有巨大的协同潜力。我相信,随着双方合作的深入,将进一步拓展合作维度,在更多前沿技术研发领域协同创新,切实推动我国人工智能产业的发展,共同赋能新质生产力的构建。”清程极智 CEO 汤雄超表示。