什么是自适应计算?业界有这么多的计算平台,如CPU、GPU、DSP等,为什么还需要自适应计算?自适应计算能给业界带来什么?这些问题,是赛灵思于2018年推出自适应计算加速平台(Adaptive Compute Acceleration Platform)时,被问到的最多的问题。时隔三年,赛灵思又取得了哪些进展?
今年5月,赛灵思总裁兼首席执行官Victor Peng在接受媒体采访时曾表示,过去三年,赛灵思处于从FPGA公司向自适应计算平台公司转型的过程中。尽管面临各种外部挑战,但仍能保持当前的成长之路,这期间的几项重要决定,为未来奠定了积极的方向,这其中的一个重大决策就包括:让平台更易于使用,让自适应计算为更多的创新者赋能。
日前,赛灵思人工智能及软件业务市场总监罗霖( Andy Luo)在接受<与非网>采访时,进一步阐释了如何推动自适应计算力量的普及化,以及如何让自适应计算流行起来。
自适应计算能为业界带来什么?
罗霖首先指出了自适应计算与其他计算方式的根本区别——不论是基于CPU、GPU或其他计算平台做开发,需要优化软件来适应硬件,也就是说,硬件是固定的,只能通过改写代码来提升平台性能。而自适应计算的概念恰好相反,平台可提供开发工具、加速API等,可以为具体应用优化硬件、定义软件,并且这种优化是持续不断进行的,即使是产品量产后,在部署阶段也可以进行优化。简言之,所谓自适应计算,就是根据具体的应用优化硬件,硬件是软件定义的、软件可编程的,是新一代的计算形式。
至于为什么需要自适应计算?则是在当前创新步伐加速之下,赛灵思着力推进的技术路线,它主要包含两方面:一是提高创新效率,二是提供面向所有开发者的易用性。
罗霖表示,为了让更多的开发者能够获益于自适应计算平台开发的高效率,赛灵思将易用性作为重要的战略着力点。通过为开发者提供他们熟悉的编程语言、框架和集成开发环境,以及足够的加速API库和参考设计,大幅降低了自适应计算的门槛,开发者上手设计的速度也得以大幅提升。
“自适应计算”背后,蕴藏了赛灵思从云端到边缘再到终端的决心和方向,即:将最新的架构创新提供给端到端应用的每一个部分,软件和 AI 开发者只需借助硬件抽象工具,就能充分发挥它的优势,而无需成为硬件专家。
如何推动自适应计算力量的普及?
过往的发展证明,任何计算形式的普及、任何计算平台的流行,都离不开开发者,离不开生态系统的不断壮大。为了让自适应计算流行起来,赛灵思需要不断开拓开发者生态系统,赋能所有开发者。
赋能所有开发者——这是一个横跨软件和硬件开发者的雄心勃勃的计划。这意味着,在最基本的芯片和组件之上,需要一个完整的堆栈,提供灵活的硬件平台、涵盖不同的处理单元、开发工具,覆盖面向不同开发环境、开发群体的适应性和弹性。这一庞大的愿景,赛灵思如何实现?
罗霖介绍,基于Versal ACAP异构加速硬件平台,上层涵盖了标量引擎、可编程逻辑、AI加速引擎在内的不同处理单元,以及硬件IP、加速库、定制硬件和专门的AI加速库等。在此基础之上,还有三种不同的开发工具:适合于底层硬件IP、加速库开发的Vivado;面向软件开发者的集成式开发环境和平台Vitis,开发者可以使用熟悉的高层次语言C、C++和Python来进行编程;还有专门针对AI推理的开发平台Vitis AI,支持AI开发者使用熟悉的框架,如TensorFlow、PyTorch、Caffe来训练模型,再通过Vitis AI来进行部署,让AI模型能够高效在硬件平台上实现。
为了持续解锁开发者的生产力,赛灵思在不断推出新的开发工具和面向新应用的开发平台。今年6月推出了基于机器学习的 VivadoML版本,刚刚又发布了针对AI智能视频分析应用的新工具 Vitis Video Analytics SDK。
据介绍,基于机器学习的VivadoML版本是一个突破性的升级:通过在Vivado环境中使用机器学习技术来提升布线的时延优化,进行模块化的自动化设计,从而将结果质量(QoR)平均提升了约10%(在不同的测试的用例中甚至会提高50%)。同时,还有基于可重配置模块的层级化编译器,用户可以自定义模块,再通过赛灵思工具进行增量编译和并行编译,从而将平均编译时间缩短5倍,最高缩短17倍。
在针对新应用的开发平台方面,赛灵思选择了智能视频分析作为切入点,推出了视频分析SDK。基于Omdia报告,赛灵思预测2020至2027年,AI推理市场年复合增长率将为35%,其中,55%的AI推理应用都将基于图像、视频,这也正是赛灵思推出视频分析SDK的一大原因。
Vitis Video SDK底层基于赛灵思Alveo嵌入式平台,支持运行时库、Vitis、Vitis AI、Gstreamer多媒体协议、以及包括视频编解码、图像预处理等插件。为了构建智慧城市、智慧零售、智慧医疗、智慧建筑等方面的应用,Vitis Video SDK还提供了C++和Python接口,支持TensorFlow、Pytorch、Caffe等主流框架模型,开发者无需使用RTL进行编程,所有的编程都基C++和Python API,开发效率得以大幅提升。
根据展示的评测数据,在视频解码预处理加车牌识别场景下,赛灵思的Kria SOM可以运行3路数据流,英伟达Jetson Nano、TX2只能运行1-2路,赛灵思可提供约1.5~3倍的性能;Alveo加速卡方面,主要工作负载为运行视频解码预处理、目标检测和分类,Versal VCK5000可以实现32路,英伟达T4约为16路,赛灵思可提供高出2倍的吞吐量。
从可编程FPGA到自适应计算平台,AI和机器学习在赛灵思的技术演进中发挥了重大作用。罗霖以视觉分析为例介绍,传统算法更多是基于规则、基于计算机视觉的,在自适应计算平台中,赛灵思提供了可灵活配置、可伸缩的AI加速引擎DPU,用户可以根据硬件平台来配置和集成该引擎,根据芯片的不同来选择引擎的大小,从而实现有效的AI加速,这就是自适应计算理念的典型呈现,即根据应用和工作负载,来定制硬件、适配软件。
如何扩大生态影响力?
为了提高开发者技能,助力开发者在自适应计算平台上进行更多、更好的项目设计,赛灵思去年底推出了新的开发者计划 ( Xilinx Developer Program ),推出了全新设计的开发者网站,为开发者提供Vivado、Vitis、Vitis AI相关的开发资源(项目、工程、底层设计);上线了赛灵思应用商店(AppStore),用户可以线上购买 Alveo 卡和 Kria SOM;通过 GitHub 项目和支持开源社区,提升用户对赛灵思开源的认知度;增加了虚拟培训课程,发布了不同的培训视频,并创建了更多技术电子书;推出大学计划,并主办了自适应计算挑战赛等赛事;推出开发者认证计划,针对通过认证的开发者,提供早期使用( Early Access )机会,让他们能够率先接触到赛灵思最新的技术。
值得一提的是,今年举办的第二届自适应计算挑战赛,大赛的规模将是去年的2倍,预计将吸引2000名参赛选手,最终将评选出360名入围选手,15名获奖者,奖金总额7万美金。本届赛事还增设了两个特殊奖项:赛灵大学计划(XUP)和科技女性(WIT, Women in Technology)专项奖,来推动高等院校自适应计算的创新、以及技术领域的多元化发展。
罗霖表示,在工具采用方面,已经显露出强劲的发展势头。据统计,Vitis下载量已经超过15万次,Vitis AI下载量超过10万次,而50%以上的下载都来自于新用户;开发者计划推出约8个月,目前已经突破了10000注册人数;应用商店上线半年时间,已经覆盖了200多个不同应用。赛灵思希望不断降低自适应计算门槛,拥抱所有开发者及数据科学家,真正做到让自适应计算流行起来。