2887
去年这个时候发过一篇文章《我在隔离酒店，做了一个AI视觉加速器》，介绍了如何在半个小时之内用FPGA开发一个AI视觉加速器，而且完全用软件库搭建，不用写一行RTL代码。之所以能这么方便，就是因为当时用的是名叫KRIA SOM的开发套件，支持用Python进行纯软件的FPGA开发。
如今一年过去了，KRIA系列今年又推出了一个新的入门套件，名叫KR260。细心的朋友可能发现了，和之前的KV260只有一字之差。之前的V代表的是Vision、视觉，而这里R指的就是机器人 Robotics。
很高兴这次也第一时间收到了AMD 赛灵思寄来的KR260，据说我们也是全国最早拿到这个板卡的。在今天的文章里，我会带大家来一起近距离感受一下这个板卡的细节、特点和优势。
但和之前有那么亿点点不同的是，我们并没有简单运行一下赛灵思的实例程序就完事儿了，而是花了几个星期的时间，真正用这个板卡开发了一个机械臂控制器。
完成功能还是其次，真正的目的是更好的感受一下这种新型开发方式到底有多便捷。顺便带大家一起来看下，一个完整的项目开发周期都需要经历哪些阶段，我们踩了哪些坑，如何解决的问题，都会给大家一一呈现。这个项目的源代码和文档，也都会进行开源，链接在文末，希望能帮到更多感兴趣的朋友。
在开发过程中我们一直在尝试回答的一个问题，就是这种基于软件开发的新型FPGA开发方法，是否会成为未来的主流？折腾完我们的答案是：
很有可能，但前面的路可能还很长。
KR260，到底是什么？
KR260的全称，是Kria KR260开发套件。其中Kria是整个产品系列的名字。前面说过，KR260的R，指的就是机器人。也就是说，这个板卡就是为了机器人的相关应用而特别设计的，比如这篇文章介绍的机械臂的控制开发。事实上，除了机器人应用之外，KR260还能用于工业控制、通信，在板卡上还有摄像头接口，所以也可以用来做工业视觉的应用。
接下来我们就看下KR260这个开发板。它最大的特点，就是采用了SoM - System on Module的形式。也就是说它其实是有两块板卡，上面带风扇的部分就是FPGA卡本身，里面装着一个定制版的SoC芯片，而下面的这个部分就是母板，叫做base board或者carrier board。母板上包含了各种接口，最明显的就是这4个RJ45以太网端口，以及一个SFP+10G光口，这些都是为了做工业通信的；此外还有4个USB3.0，主要设计用来做为多个摄像头的接口。
这种使用两种板卡的SoM模式，本质就是一种模块化的设计方法。我们可以分别设计这些核心板和母板，来满足不同应用场景的需要。
比如在一个设计的开发阶段，我们肯定需要一个有着很多接口和调试功能的开发板，这样就可以把母板上的IO接口做多一些、调试手段做丰富一些，方便我们的开发。当开发调试结束、需要实际应用和部署的时候，可能就不需要这些额外的调试接口和IO了，留着它们反而会成为方便别人入侵的安全隐患。在这种情况下，就可以在母板上保留必要功能，而FPGA的部分保持不变，这样能快速组成一个可以部署的产品化系统。
同理，当FPGA芯片更新换代的时候，我们其实也可以保持母板不变，只需要更换上面的FPGA核心板就可以了。特别是可以复用很多母板上的资源，项目文件很多也不需要大修和重写，非常方便。
具体到这个KR260，它的FPGA核心板其实是一个Zynq UltraScale+ FPGA芯片。这是一个16纳米的器件，包含4核ARM Cortex-A53处理器，以及围绕它搭建的一系列SoC子系统，包括嵌入式的GPU、内存控制器，还有各种IO和总线控制单元等等。可编程逻辑部分，包含25.6万个可编程逻辑单元，144个BRAM、64个URAM，这些都是片上的存储单元，此外还有1200多个DSP。
母板的部分前面说过，有四个以太网、4个USB3.0，此外还有显示接口、树莓派接口等等，能很大程度满足开发的需求。
不过我觉得，Kria系列的最大特点，除了这种模块化的板卡设计之外，更多的是它的开发方法。
不写RTL的FPGA开发
玩过FPGA的朋友应该都知道，FPGA开发起来非常麻烦，特别是和基于CPU或者GPU的这些软件开发相比。比如我们要玩Raspberry Pi，直接接上电源连上外设，然后开始写python去开发就好了。
相比之下，FPGA完全是两个概念，传统的开发方法要用特别的硬件设计语言Verilog、VHDL或者SystemVerilog，以及相应的仿真和测试的方法，这个学起来就很麻烦了；此外还要用特别的开发软件，比如赛灵思的Vivado或者Vitis，这个也需要大量的学习成本。
不仅如此，FPGA的编译和调试时间很长，一个普通大小的工业级FPGA设计，编译时间通常也需要几个小时之久，这就劝退了很多开发者和应用厂商。
所以FPGA一直是很多开发者又爱又恨的存在，一方面FPGA有各种的好处，比如可以用来做并行计算和硬件加速，同时功耗又很低；但另一方面，FPGA的学习和开发方法非常的复杂和繁琐，这个也是制约FPGA大规模发展的最主要因素。
但是，包括KR260在内的Kria系列FPGA的开发方法就有很大不同，我们不需要Vitis、不需要使用RTL语言，而是通过Python语言进行开发，就能很快跑起来一个应用。对于KR260来说，它还有一个重要的特性，就是能支持运行机器人操作系统ROS2。它虽然名字里有「操作系统」，但其实并不是像windows、linux那样的操作系统，它更多的是一个中间件和编程框架，包含了一整套开源的软件库和工具，专门用来做机器人编程。
ROS的作用是抽象机器人控制和传感器驱动的过程，让不同协议的器件之间能够互相通信。起到了一个总线的作用，不需要交互协议，所有的控制用Python，C++这些高层语言完成就可以了。所以通过支持ROS，就能进一步提升KR260的易用性和它的开发效率。
接下来我们就一起来看一下，如何使用KR260开发一个机械臂控制系统。
机械臂控制器的开发过程
去年我们玩KV260的时候用的是赛灵思的官方示例，在很短时间之内就完成了一个视觉加速器的开发。那么这次用KR260，我们挑战了一下更高难度，想尝试一下实际开发起来是一种怎样的体验，也想体验一下ROS系统的使用，以及这种开发方式带来的好处。
机械臂的控制，是机器人领域的主要应用之一。我们要实现的功能其实并不是特别复杂，就是通过摄像头定位不同颜色的小方块，然后通过机械臂对小方块进行抓取和分类放置。
我们用的都是现成的机械臂硬件，和稚晖君大佬自研一切肯定没法比。我们这次开发的主要目的，其实就是评估KR260和ROS系统的易用性，看看它是不是真的像赛灵思宣传里说的那么好用。
确定功能之后，就是梳理出具体的开发步骤，主要分以下这么几步：
第一步，配置KR260的Ubuntu环境。我们接下来所有的开发，都要基于Ubuntu操作系统，所以这一步是基础。具体做法可以参考赛灵思给出的一些步骤，链接我都整合在开发文档里，点击文末「阅读全文」就可以看到。不过需要注意的是，这里需要选择支持KR260的Ubuntu版本，不能随便下。这个要到赛灵思的官网，找到Ubuntu Desktop22.04 LTS的映像，确保它支持KR260，然后下载，并且烧录到SD卡里。
烧录好SD卡之后，就是把线缆插到KR260上，注意以太网口不要插错，也插上SD卡，连接键盘鼠标，上电启动Ubuntu。这一步的最后，就是为Ubuntu LTS设置一下赛灵思的开发环境，用这里的几个命令就可以了。
sudo snap install xlnx-config --classic --channel=2.x
xlnx-config.sysinit
第二步，配置KR260的ROS2环境。对于KR260+Ubuntu22.04这样的环境来说，目前只有ROS2 Humble Hawksbill这个版本。在安装之前，需要先安装一系列的依赖、配置源、然后再下载ROS包进行安装。这部分内容我就快进了，所有的命令代码和文档都是开源的，有条件的小伙伴可以试试看。安装好之后可以做一些简单的信息收发的测试，没问题的话就证明ROS2已经正常运行在KR260上了。
第三步，在KR260上安装jupyter lab方便调试。先下载依赖、配置一下远程登录，然后重启一下就好了。
第四步，搭建机械臂的硬件结构。这一步其实独立于FPGA开发，我们用的是现成的机械臂硬件，主要涉及一些组装和调试的工作。某宝上其实有很多机械臂开发件在卖，但是大家在买的时候一定要注意，问清楚控制接口到底是什么协议。这里我们踩了一个大坑，后面会介绍。
第五步，就是开发实际的功能了。功能主要包含两块，一块是对机械臂动作的控制，一块是通过摄像头进行物体和颜色的识别。对于机械臂动作的控制，是通过动作组来实现的，每个动作组包含初始化、复位、抓取、转移、放置，这五个基本的行为。
每个行为的本质其实就是对机械臂里对应的舵机进行控制，比如控制舵机旋转的角度和方向等等，这些都可以通过Python来进行精确的编程控制。由于我们支持多种颜色的物体在多个区域的抓取和放置，因此而每个行为又包含很多个动作。比如同样的一个抓取的动作，在不同区域就需要控制舵机转动的次数、角度和顺序，这些就组成了一个动作组。
我们把每个动作都做成一个函数，然后通过不同函数的组合调用，又组成更高层的函数，来完成不同的行为。这样一级一级下来，呈现给最上层用户的，就是几个可以调用的函数接口。当然最后这些都会用ROS集成起来。
摄像头识别的部分，使用OpenCV来实现。主要的工作有两个部分，分别是颜色识别、以及物体中心坐标定位。每部分的具体操作在下图中所示：
别着急，还有第六步，也就是最后一步，就是把这些分立的功能通过ROS连接起来。相当于前一步我们做的都是一个个砖块，现在可以把砖砌成房子了。除了识别算法和控制算法，ROS还可以直接驱动摄像头，并且通过CV bridge把摄像头的图像传递给识别算法。识别出物体的轮廓和坐标之后，自动判断下一步要执行的动作，然后在ROS里发送给机械臂完成执行。
踩坑总结
开发过程肯定不是一帆风顺的，一些搭环境装软件的小问题就不说了，我们在开发过程中遇到的最大问题，其实是KR260目前存在的一些限制。
一开始我们想用一个性能更好、功能更强的机械臂，买好了抱回来之后发现，那个机械臂的控制端口用的是I2C总线。根据KR260目前板卡的设计和引脚分配我们发现，必须要把这个I2C总线连到KR260的FPGA端。但是问题就来了，目前赛灵思提供的Ubuntu系统还不能访问FPGA PL端的新增AXI 设备，需要修改Ubuntu系统。
然后很自然的就想试试其他操作系统，比如我们试过Petalinux，并且成功修改了设备树，实现和I2C的通信，但是问题又来了，Petalinux不支持ROS，也没办法下载大部分依赖的安装包和支持库。我们试用KR260就是为了体验ROS开发来的，所以这条路也走不通了。
所以最后的方案，就是选了另外一个支持USB串口驱动的机械臂，并且直接在Ubuntu+ROS的环境下完成了前面的开发。
事实上，这并不是什么bug，而是一些相关的功能和支持还没完全开放。比如说不定过一段时间赛灵思就更新了Ubuntu版本，添加了对FPGA PL端IO资源的访问支持。也就是说，可以直接从FPGA的可编程硬件部分访问各种外设，这样肯定就方便更多了。
除此之外，一些其他的踩坑总结以及解决方案，也以文档的形式列出来了，感兴趣的朋友可以查看我们的Github链接：
https://github.com/shilicon/kr260_robotic_arm
小结
今天这篇文章，带大家一起看了一下赛灵思最新的Kria KR260机器人开发套件的开发全过程。在这个过程中，可以不接触到FPGA的底层硬件内容。如果你是个软件开发者，可以利用这个平台直接进行上层机器人相关软件和算法的开发和加速，这个就大大降低了使用FPGA的门槛。这个过程也很有趣，同时也能慢慢接触到软硬件协同开发的知识细节，并且锻炼这方面的技能。
关于Kria KR260的学习资料，还有这个基于KR260的机械臂控制项目的具体细节、步骤和代码，我们都总结成了详细的文档，获取方式在置顶评论里，想要学习和上手的朋友可以从这里开始。也欢迎点击文末「阅读原文」做一个小调查，有任何反馈也欢迎留言告诉我，祝玩的顺利！
（注：本文不代表老石工作单位之观点）
