加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

无线行空板+麦轮小车 实现人脸的追踪与调控

2023/09/28
4323
阅读需 8 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

行空板与麦轮小车!想象一下,你可以坐在家里,不用繁琐的线连接电脑,不用趴在地上调试小车,优雅地通过网络远程控制行空板和麦轮小车,实现对人脸的追踪和调控。

行空板

行空板一款由DFRobot研发地专为Python学习和使用设计的单板微型计算机。这意味着只要你的手机、电脑、平板等设备能够与行空板在同一个网络中,就能通过网络访问它。行空板不仅集成了LCD彩屏,让你可以直观地查看数据,还具备WiFi和蓝牙功能,方便与其他设备连接和交互。此外,行空板还内置了各种常用传感器,可以感知周围的环境。行空板具有WiFI可以无线调试,可以通过GPIO控制电机驱动,同时有屏幕可以显示状态,进而非常适合本项目。

麦轮介绍

可以全向运动的麦克纳姆轮(Mecanum Wheel),可以实现在狭小空间内,进行灵活转向移动的功能。相较于普通车轮需要车轴与复杂机械结构来实现特定方向的旋转,麦克纳姆轮却可以在任意方向自由旋转,无需任何附加装置,实现前行、横移、斜行、旋转。产生的合力保证了这个平台在最终的自由地移动,而不改变小车自身的方向。

无线行空板+麦轮小车 实现人脸的追踪与调控

OpenCV介绍

OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉库,由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。其中包含了人脸识别的功能。可以通过训练模型进行视觉图像的识别,包括输出人脸和位置,就是本次项目中会用到的实现追踪效果的视觉算法。

硬件清单

无线行空板+麦轮小车 实现人脸的追踪与调控

行空板

microbit电机驱动

海盗船四轮平台

60mm麦轮

三节5号电池

usb摄像头

移动电源

硬件连接

无线行空板+麦轮小车 实现人脸的追踪与调控

将行空板的金手指插入microbit扩展板的扩展插槽内。

无线行空板+麦轮小车 实现人脸的追踪与调控

按图示将四个麦轮连接到microbit电机驱动板上,并安装三节AA电池供电。

麦轮安装的时候需要保持x型的组合方式。

无线行空板+麦轮小车 实现人脸的追踪与调控

运行程序前,确定已做以下三个步骤,否则程序上传会出现报错。

确定摄像头的usb插好。

确定行空板已单独供电。

确定将电机驱动版的电源开关打开。

无线行空板+麦轮小车 实现人脸的追踪与调控

远程调试行空板

行空板可以连接Wi-Fi进行无线编程,实现无线优雅调试。首先需要将行空板连接到与电脑连接的同一个WiFi下,有两种配网方法。

配置方法一:USB连接电脑有线配网

1、使用USB线连接行空板到电脑时,行空板会虚拟为一个RNDIS网卡设备,此时板子IP地址固定为‘10.1.2.3’。

无线行空板+麦轮小车 实现人脸的追踪与调控

2、将行空板连接局域网wifi:在浏览器中输入行空板ip:10.1.2.3。点击网络设置,输入需要连接的wifi(注意需要使用2.4G Wi-Fi)。然后电脑连接同一个热点,输入行空板的IP即可开始编程。

无线行空板+麦轮小车 实现人脸的追踪与调控

配置方法二:使用行空板热点模式无线配网

1、首先开启行空板的无线热点

按home键进入主菜单,打开‘开关无线热点模式’,查看ssid(热点名称)和pass(热点密码)使用可以连接wifi的电脑或手机连接到行空板的热点。

无线行空板+麦轮小车 实现人脸的追踪与调控

2、长按Home按键进入行空板板载菜单,其中查看网络信息页面可以看到行空板作为无线热点的时候IP地址固定是192.168.123.1

无线行空板+麦轮小车 实现人脸的追踪与调控

3、将行空板连接局域网wifi:在浏览器中输入行空板ip:192.168.123.1。点击网络设置,选择需要连接的wifi(注意需要使用2.4G Wi-Fi),输入密码连接成功。然后电脑连接同一个热点,输入板子的IP即可开始编程。

无线行空板+麦轮小车 实现人脸的追踪与调控

至此,行空板远程调试的功能完成。

编写Python代码

1、编程平台:使用mind+或vscode编写代码。

2、代码逻辑与编写

使用OpenCV库识别人脸并计算出在所处画面的位置,当位置小于20或大于80时,驱动麦轮向左转或向右转达到追踪转向的效果。

步骤1 导入opencv、pingpong库,初始化行空板和四个麦轮电机

无线行空板+麦轮小车 实现人脸的追踪与调控

步骤2 设定转向功能

步骤3 加载人脸识别的分类模型,并加载摄像机

步骤4 设定摄像机参数

步骤5 循环判断功能逻辑编写

打开摄像头获取视频流。—> 循环读取每一帧,进行人脸检测。—> 如果没有检测到人脸,停止小车。—> 如果检测到人脸,获取人脸位置,画出矩形框。—> 根据人脸在画面中的位置,如果横轴x<20小车需要向左转, x=””>80小车向右转,否则停止。—> 显示画面并判断是否退出循环。

步骤6 最后关闭摄像头,停止电机

3、 情绪表情显示模式

如果把移动平台想象成一个情感上独立的实体与你互动,那么相机图像就可以用它自己的“面部表情”代替。当它检测到你的位置不同时,它会向左或向右转动,同时触发不同的表情。通过拟人化,它成为一个能够表达其内部状态的反应灵敏的伴侣,而不仅仅是一个带有摄像头的小车。这使得交互更加自然和有吸引力。

无线行空板+麦轮小车 实现人脸的追踪与调控

由行空板、麦克纳姆轮和OpenCV组成的应用,展现了远程无线控制和计算机视觉的强大潜力,我们可以做更多创意应用打造出各种智能、交互式的机器人和系统。在不久的将来,这种将控制、视觉和网络融为一体的系统可能会应用在更多领域中,改善我们的生活和工作。可以期待行空板和更多技术结合带来的无限可能!

关于该项目的详细的介绍,您可以访问“DF创客社区”—“无线行空板, 远程控制人脸追踪的麦轮小车”了解更多。

上海智位机器人

上海智位机器人成立于2010年,是全球领先的从事开源硬件、机器人产品和科创教育的高科技企业,打造了DFRobot、蘑菇云科创教育等品牌,是国内最早的创客理念引入者和倡导者,创客教育的开拓者和引领者。旗下拥有中国最大的线上DF创客社区和国家级创客空间——蘑菇云创客空间,提供丰富的线上和线下学习资源,构建了一个自由、开放和富于创造力的交流空间。其Gravity产品已被全球超过100万开发者选用。合作伙伴包括微软英特尔、Autodesk、霍尼韦尔、NASA、MIT等知名厂商和机构。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
AT91SAM9G20B-CU 1 Atmel Corporation RISC Microcontroller, 32-Bit, FAST, ARM9 CPU, 400MHz, CMOS, PBGA217, 15 X 15 MM, 0.80 MM PITCH, GREEN, MO-205, LFBGA-217

ECAD模型

下载ECAD模型
$11.13 查看
STM32F756ZGY6TR 1 STMicroelectronics High-performance and DSP with FPU, Arm Cortex-M7 MCU with 1 Mbyte of Flash memory, 216 MHz CPU, Art Accelerator, L1 cache, HW crypto, SDRAM, TFT

ECAD模型

下载ECAD模型
$12.73 查看
ATMEGA644PA-AUR 1 Microchip Technology Inc IC MCU 8BIT 64KB FLASH 44TQFP
$4.99 查看

相关推荐

电子产业图谱