双目摄像头+桌面机械臂抓取特定物体

只看该作者 · 2019-6-12 13:59

本帖最后由 bfl111 于 2019-6-12 14:04 编辑

实验室有个双目相机及一个小型桌面机械臂，想实现抓取。但是不知道怎么提取待抓取物的坐标。
有两个思路：
一是把待抓取物生成点云文件作为模板，利用每次和模板匹配通过后，再输出待抓取物的坐标。
二是，双目拍照后，直接处理图片，提取待抓取物的信息，大体就是这个样子：
相机初始化-图像抓拍-图像预处理-图像二值化-形态学滤波-边缘检测-矩形检测-二维坐标获取-摄像机标定-实际位置-控制系统

双目相机图像的获取、标定、立体匹配、生成视差图、得到深度图、得到pcd点云文件这些有思路，
就是怎么得到被抓取物体的坐标，没有思路，
冒个泡，希望有明白的前辈指引一下。

只看该作者 · 2019-6-13 18:04

景深图上面不就有三维信息么？我之前搞的时候是直接用景深信息的，反正高度都是桌面高度，忽略第三个参数。
话说模版匹配、边缘检测我都做过，搞了一年，效果都不好，误检、漏检严重，不知道是不是我算法问题太大，后来折腾得不行，干脆直接用深度学习了。慢是慢了点，反正也就检测几帧，不会误检，但光线不好漏检也是挺严重的（用人间训练好的模型），估计要自己训练深度模型才好，可是我用的又是intel渣渣核显

后来还移到嵌入式平台去，树莓派上程序直接崩溃，1G跑不了深度学习。忍痛买了个nanopc t4，一帧还是要600ms。