行空板与麦轮小车!想象一下,你可以坐在家里,不用繁琐的线连接电脑,不用趴在地上调试小车,优雅地通过网络远程控制行空板和麦轮小车,实现对人脸的追踪和调控。
行空板
行空板一款由DFRobot研发地专为Python学习和使用设计的单板微型计算机。这意味着只要你的手机、电脑、平板等设备能够与行空板在同一个网络中,就能通过网络访问它。行空板不仅集成了LCD彩屏,让你可以直观地查看数据,还具备WiFi和蓝牙功能,方便与其他设备连接和交互。此外,行空板还内置了各种常用传感器,可以感知周围的环境。行空板具有WiFI可以无线调试,可以通过GPIO控制电机驱动,同时有屏幕可以显示状态,进而非常适合本项目。
麦轮介绍
可以全向运动的麦克纳姆轮(Mecanum Wheel),可以实现在狭小空间内,进行灵活转向移动的功能。相较于普通车轮需要车轴与复杂机械结构来实现特定方向的旋转,麦克纳姆轮却可以在任意方向自由旋转,无需任何附加装置,实现前行、横移、斜行、旋转。产生的合力保证了这个平台在最终的自由地移动,而不改变小车自身的方向。
OpenCV介绍
OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉库,由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。其中包含了人脸识别的功能。可以通过训练模型进行视觉图像的识别,包括输出人脸和位置,就是本次项目中会用到的实现追踪效果的视觉算法。
硬件清单
行空板
microbit电机驱动
海盗船四轮平台
60mm麦轮
三节5号电池盒
硬件连接
将行空板的金手指插入microbit扩展板的扩展插槽内。
按图示将四个麦轮连接到microbit电机驱动板上,并安装三节AA电池供电。
麦轮安装的时候需要保持x型的组合方式。
运行程序前,确定已做以下三个步骤,否则程序上传会出现报错。
确定摄像头的usb插好。
确定行空板已单独供电。
确定将电机驱动版的电源开关打开。
远程调试行空板
行空板可以连接Wi-Fi进行无线编程,实现无线优雅调试。首先需要将行空板连接到与电脑连接的同一个WiFi下,有两种配网方法。
配置方法一:USB连接电脑有线配网
1、使用USB线连接行空板到电脑时,行空板会虚拟为一个RNDIS网卡设备,此时板子IP地址固定为‘10.1.2.3’。
2、将行空板连接局域网wifi:在浏览器中输入行空板ip:10.1.2.3。点击网络设置,输入需要连接的wifi(注意需要使用2.4G Wi-Fi)。然后电脑连接同一个热点,输入行空板的IP即可开始编程。
配置方法二:使用行空板热点模式无线配网
1、首先开启行空板的无线热点
按home键进入主菜单,打开‘开关无线热点模式’,查看ssid(热点名称)和pass(热点密码)使用可以连接wifi的电脑或手机连接到行空板的热点。
2、长按Home按键进入行空板板载菜单,其中查看网络信息页面可以看到行空板作为无线热点的时候IP地址固定是192.168.123.1
3、将行空板连接局域网wifi:在浏览器中输入行空板ip:192.168.123.1。点击网络设置,选择需要连接的wifi(注意需要使用2.4G Wi-Fi),输入密码连接成功。然后电脑连接同一个热点,输入板子的IP即可开始编程。
至此,行空板远程调试的功能完成。
编写Python代码
1、编程平台:使用mind+或vscode编写代码。
2、代码逻辑与编写
使用OpenCV库识别人脸并计算出在所处画面的位置,当位置小于20或大于80时,驱动麦轮向左转或向右转达到追踪转向的效果。
步骤1 导入opencv、pingpong库,初始化行空板和四个麦轮电机
步骤2 设定转向功能
步骤3 加载人脸识别的分类模型,并加载摄像机
步骤4 设定摄像机参数
步骤5 循环判断功能逻辑编写
打开摄像头获取视频流。—> 循环读取每一帧,进行人脸检测。—> 如果没有检测到人脸,停止小车。—> 如果检测到人脸,获取人脸位置,画出矩形框。—> 根据人脸在画面中的位置,如果横轴x<20小车需要向左转, x=””>80小车向右转,否则停止。—> 显示画面并判断是否退出循环。
步骤6 最后关闭摄像头,停止电机
3、 情绪表情显示模式
如果把移动平台想象成一个情感上独立的实体与你互动,那么相机图像就可以用它自己的“面部表情”代替。当它检测到你的位置不同时,它会向左或向右转动,同时触发不同的表情。通过拟人化,它成为一个能够表达其内部状态的反应灵敏的伴侣,而不仅仅是一个带有摄像头的小车。这使得交互更加自然和有吸引力。
由行空板、麦克纳姆轮和OpenCV组成的应用,展现了远程无线控制和计算机视觉的强大潜力,我们可以做更多创意应用打造出各种智能、交互式的机器人和系统。在不久的将来,这种将控制、视觉和网络融为一体的系统可能会应用在更多领域中,改善我们的生活和工作。可以期待行空板和更多技术结合带来的无限可能!
关于该项目的详细的介绍,您可以访问“DF创客社区”—“无线行空板, 远程控制人脸追踪的麦轮小车”了解更多。
上海智位机器人
上海智位机器人成立于2010年,是全球领先的从事开源硬件、机器人产品和科创教育的高科技企业,打造了DFRobot、蘑菇云科创教育等品牌,是国内最早的创客理念引入者和倡导者,创客教育的开拓者和引领者。旗下拥有中国最大的线上DF创客社区和国家级创客空间——蘑菇云创客空间,提供丰富的线上和线下学习资源,构建了一个自由、开放和富于创造力的交流空间。其Gravity产品已被全球超过100万开发者选用。合作伙伴包括微软、英特尔、Autodesk、霍尼韦尔、NASA、MIT等知名厂商和机构。