【米尔FZ3深度学习计算卡】作品：双目识别定位系统

day_day

该项目旨在针对桌面机械臂应用于液体搬运场景，需要通过双目摄像头获取容器的位置。

（一）双目采集
参考帖子：

【米尔FZ3深度学习计算卡】（四）双目采集

（二）双目景深
双目景深是采用双目摄像头视觉差来还原三维空间的坐标数据的方法。

1-固定摄像头标定双目参数
需要标定的参数有各个摄像头的畸变矩阵；两摄像头之间的平移、旋转向量与旋转矩阵
标定的具体工作就详细描述了。
标定结果：

1. cv::Mat cameraMatrixL = (cv::Mat_<double>(3, 3) << 4.2420371939684514e+002,0.,1.5950000000000000e+002,0.,
   
2.                      4.2420371939684514e+002,1.1950000000000000e+002,
   
3.                      0.,0.,1.);
   
4. cv::Mat distCoeffL = (cv::Mat_<double>(5, 1) << -3.7198889560662229e-001,-1.3654923131896908e-002,
   
5.                   4.4813893788278160e-003,-2.3706251542376924e-003, 0.);
   
6. 
   
7. cv::Mat cameraMatrixR = (cv::Mat_<double>(3, 3) <<  4.2420371939684514e+002,0.,1.5950000000000000e+002,0.,
   
8.                      4.2420371939684514e+002,1.1950000000000000e+002,
   
9.                      0.,0.,1.);
   
10. cv::Mat distCoeffR = (cv::Mat_<double>(5, 1) << -3.6255158274727367e-001,-9.3817147538152817e-002,
    
11.                   3.7549487412259198e-003, 4.8583611681833670e-004,0.);
    
12. 
    
13. cv::Mat T = (cv::Mat_<double>(3, 1) << -6.0374462929120007e+001,3.7453075677379138e-001,
    
14.          -1.2406483067906511e-001);//T平移向量
    
15. cv::Mat rec = (cv::Mat_<double>(3, 1) <<0.04345, -0.05236, -0.01810);//rec旋转向量
    
16. cv::Mat R = (cv::Mat_<double>(3, 3) << 9.9969660806031857e-001,-4.9821327588756951e-003,
    
17.          2.4121985529112638e-002,4.7142126751139896e-003,
    
18.          9.9992671257443977e-001,1.1151039365350269e-002,
    
19.          -2.4175773649411435e-002,-1.1033940059957476e-002,
    
20.          9.9964682970297347e-001);//R 旋转矩阵

复制代码

2-三维重建
三维重建首先使用opencv的remap函数进行畸变矫正、共面对准等操作。
然后使用 reprojectImageTo3D 还原三维信息：


3-三维重建函数：见文末

（三）图像识别
采用百度ai核加速深度识别：
【米尔FZ3深度学习计算卡】视频流识别测试
米尔FZ3深度学习计算卡】（三）V4L2采集视频流识别

（四）工程文件
DectMea_V1(2019_01_10).zip (8.04 KB, 下载次数: 1)

2021-1-10 21:47 上传

点击文件名下载附件

（五）识别效果


视频：


本次采用的时低成本双USB摄像头拼接的双目摄像头，但开发板针对双USB摄像头支持不足，只能采用开一个获取一帧的方式采集图像，严重制约了帧率。实际应用时还是应该采用专业的双目摄像头，或者定制的BT1120接口输入的视频流。


附录：

1. void DectMea::stereo_match(cv::Mat left, cv::Mat right)
   
2. {
   
3.     //1-配置参数
   
4.     cv::Ptr<cv::StereoSGBM> sgbm = cv::StereoSGBM::create(0, 16, 3);
   
5.     sgbm->setPreFilterCap(63);
   
6.     int sgbmWinSize =  5;//根据实际情况自己设定
   
7.     int NumDisparities = 5*8;//根据实际情况自己设定
   
8.     int UniquenessRatio = 6;//根据实际情况自己设定
   
9.     sgbm->setBlockSize(sgbmWinSize);
   
10.     int cn = left.channels();
    
11. 
    
12.     sgbm->setP1(8 * cn*sgbmWinSize*sgbmWinSize);
    
13.     sgbm->setP2(32 * cn*sgbmWinSize*sgbmWinSize);
    
14.     sgbm->setMinDisparity(0);
    
15.     sgbm->setNumDisparities(NumDisparities);
    
16.     sgbm->setUniquenessRatio(UniquenessRatio);
    
17.     sgbm->setSpeckleWindowSize(100);
    
18.     sgbm->setSpeckleRange(10);
    
19.     sgbm->setDisp12MaxDiff(1);
    
20.     sgbm->setMode(cv::StereoSGBM::MODE_SGBM);
    
21.     cv::Mat disp, dispf, disp8;
    
22.     sgbm->compute(left, right, disp);
    
23.     //去黑边
    
24.     cv::Mat img1p, img2p;
    
25.     copyMakeBorder(left, img1p, 0, 0, NumDisparities, 0, cv::BORDER_REPLICATE);
    
26.     copyMakeBorder(right, img2p, 0, 0, NumDisparities, 0, cv::BORDER_REPLICATE);
    
27.     dispf = disp.colRange(NumDisparities, img2p.cols- NumDisparities);
    
28. 
    
29.     //2-3维重建
    
30.     cv::Mat xyz;
    
31.     dispf.convertTo(disp8, CV_8U, 255 / (NumDisparities *16.));
    
32.     reprojectImageTo3D(dispf, xyz, Q, true);
    
33.     xyz = xyz * 16;     //在实际求距离时，ReprojectTo3D出来的X / W, Y / W, Z / W都要乘以16(也就是W除以16)，才能得到正确的三维坐标信息。
    
34. 
    
35.     cv::Mat color(dispf.size(), CV_8UC3);
    
36.     GenerateFalseMap(disp8, color);//转成彩图
    
37. //    imshow("disparity", color);
    
38. 
    
39.     //3-显示在同一张图上,canvas是平行线画布
    
40.     cv::Mat canvas;
    
41.     //显示在同一张图上,canvas是平行线画布
    
42.     double sf;
    
43.     int w, h;
    
44.     sf = 320 / MAX(m_imageSize.width, m_imageSize.height);
    
45.     w = cvRound(m_imageSize.width * sf);
    
46.     h = cvRound(m_imageSize.height * sf);
    
47.     canvas.create(h, w * 4, CV_8UC3);   //注意通道
    
48. 
    
49.     //左图像画到画布上
    
50.     cv::Mat canvasPart = canvas(cv::Rect(w * 0, 0, w, h));                                //得到画布的一部分
    
51.     resize(left, canvasPart, canvasPart.size(), 0, 0, cv::INTER_AREA);     //把图像缩放到跟canvasPart一样大小
    
52. 
    
53.     //右图像画到画布上
    
54.     canvasPart = canvas(cv::Rect(w, 0, w, h));                                      //获得画布的另一部分
    
55.     resize(right, canvasPart, canvasPart.size(), 0, 0, cv::INTER_LINEAR);
    
56. 
    
57.     //画上对应的线条
    
58.     for (int i = 0; i < canvas.rows; i += 16)
    
59.         line(canvas, cv::Point(0, i), cv::Point(canvas.cols, i), cv::Scalar(0, 255, 0), 1, 8);
    
60. 
    
61.     //显示立体匹配
    
62.     canvasPart = canvas(cv::Rect(2*w, 0, w-NumDisparities, h));                                      //获得画布的另一部分
    
63.     resize(color, canvasPart, canvasPart.size(), 0, 0, cv::INTER_LINEAR);
    
64.     canvas_main = canvas;
    
65. //    imshow("rectified", canvas);
    
66. }

复制代码