本帖最后由 ky123 于 2018-1-31 14:06 编辑
感谢e络盟的500元助赛基金。
1.原理介绍
现在适用于家庭的儿童陪伴机器人功能过于单一,仅仅具有语音对话功能,而且其语音对话功能一般体验也较差,表现在需要手动唤醒后才能交互,以及对话也不智能,无法衔接上下语境进行多轮对话,因此,想做一个能语音唤醒和多轮对话的家庭陪伴机器人,同时具有视频监控和安防的功能,添加运动控制部件使其具有跳舞等功能,丰富陪伴机器人作为家庭成员的能力。
语音识别部分,恰逢百度推出DUEROS免费计划提供个人版模块,以及依托百度平台的海量大数据,基于树莓派Debian系统+python2.7 可支持定制任何唤醒词,实现语音唤醒和多轮对话的功能;
安防部分,硬件采用支持树莓派的USB免驱摄像头,安防方面采用低功耗的人体红外检测异常闯入+摄像头拍照模式,利用简单实用软件uvccapture进行拍照,通过微信完成异常闯入瞬间拍摄的图片的推送!比运动检测安防更省电且更容易实现,也比邮件和上传网盘更具有实时性;
运动控制部分,硬件采用了四个直流电机和一个伺服舵机,运动电机可以实现小车的前进、后退、左转、右转(同时兼顾了摄像头的方向调整),舵机实现摄像头俯仰约120°的调控!底层电机驱动采用了pigpio库和RPi.GPIO库,其中pigpio库在PWM/IIC/SPI方面有优势!视频方面采用mjpg-streamer进行视频流的采集,该软件比motion在视频帧处理方面更加流畅,远程控制采用web页面方式,并且通过iframe 方式将视频流嵌套在控制页面,实现同步实时调整机器人姿态!
2.开发过程
【进阶一】家庭陪伴小机器人小度功能简介和架构
【进阶二】家庭陪伴小机器人原材料和搭建
【进阶三】家庭陪伴小机器人遥控小车功能实现
【进阶四】家庭陪伴小机器人视频功能以及与遥控同步显示
【进阶五】家庭陪伴小机器人语音识别功能
【进阶六】家庭陪伴小机器人遥控舵机姿态
【进阶七】家庭陪伴小机器人微信安防推送技能
3.应用源代码
由于项目采用主体采用Python编写,程序的层次结构由缩进来决定,转存txt后格式消失下载后可能也无法编译!因此上传了整个工程!DuerOS语音识别部分源码,请在此次下载 https://github.com/MyDuerOS/DuerOS-Python-Client.git
car.tar
(3.54 MB, 下载次数: 10)
|