双目摄像头+桌面机械臂 抓取特定物体

[复制链接]
1019|11
 楼主 | 2019-6-12 13:59 | 显示全部楼层 |阅读模式
本帖最后由 bfl111 于 2019-6-12 14:04 编辑

实验室有个双目相机及一个小型桌面机械臂,想实现抓取。但是不知道怎么提取待抓取物的坐标。
有两个思路:
一是把待抓取物生成点云文件作为模板,利用每次和模板匹配通过后,再输出待抓取物的坐标。
二是,双目拍照后,直接处理图片,提取待抓取物的信息,大体就是这个样子:
相机初始化-图像抓拍-图像预处理-图像二值化-形态学滤波-边缘检测-矩形检测-二维坐标获取-摄像机标定-实际位置-控制系统


双目相机图像的获取、标定、立体匹配、生成视差图、得到深度图、得到pcd点云文件这些有思路,
就是怎么得到被抓取物体的坐标,没有思路,
冒个泡,希望有明白的前辈指引一下。

使用特权

评论回复

评论

风高云清 2019-7-26 08:17 回复TA
你好,我最近也在做用双目配合机械臂进行物体的抓取。可是现在老师那边是准备买相机模组就是省去了用电脑处理图片的过程,请问您对这方面有了解吗? 
| 2019-6-13 18:04 | 显示全部楼层
景深图上面不就有三维信息么?我之前搞的时候是直接用景深信息的,反正高度都是桌面高度,忽略第三个参数。
话说模版匹配、边缘检测我都做过,搞了一年,效果都不好,误检、漏检严重,不知道是不是我算法问题太大,后来折腾得不行,干脆直接用深度学习了。慢是慢了点,反正也就检测几帧,不会误检,但光线不好漏检也是挺严重的(用人间训练好的模型),估计要自己训练深度模型才好,可是我用的又是intel渣渣核显
后来还移到嵌入式平台去,树莓派上程序直接崩溃,1G跑不了深度学习。忍痛买了个nanopc t4,一帧还是要600ms。

使用特权

评论回复

评论

tinnu 2019-7-27 19:19 回复TA
@风高云清 :如果你的项目能够支持放得下庞大的kinect这类单目结构光模组当然还是建议用他们,因为短时间内搞定双目,而且达到一定精度还是比较困难的。其他,双目集成模组的相机我也没有什么好推荐的,因为我是弄比较低成本的方案,自己弄两个摄像头拼成的。但一般网上买到的集成模组都不会太差吧…… 
风高云清 2019-7-26 08:21 回复TA
@tinnu :前辈您好,我准备参加一个机器人大赛准备用双目或者深度相机配合机械臂进行物体的抓取,现在老师的意思是买集成的相机模组就是可以省去在电脑上处理图片的过程,您在相机选择方面有推荐的吗或者注意事项? 
bfl111 2019-6-17 15:21 回复TA
@tinnu :好的谢谢前辈,我再去看看. 
tinnu 2019-6-15 19:02 回复TA
@bfl111 :PCL库没用过啊,我用的是opencv,可能帮不了你了 
bfl111 2019-6-14 15:28 回复TA
厉害啊前辈,做了这么多工作,还移植到嵌入式平台上了,600ms感觉挺快了。 计划下一步采用pcl点云模板匹配,在官网找到如下例程: http://www.pointclouds.org/documentation/tutorials/template_alignment.php#template-alignment 这个例程跑了一下,生成坐标得用十多秒。 但是不知道人家的模板是怎么生成的,你知道那个模板怎么做吗? 
| 2019-6-17 20:56 | 显示全部楼层
去干吗啊~~~伤心啊~~~

使用特权

评论回复
| 2019-6-26 14:00 | 显示全部楼层
不如向猪学习:
鼻子凑上去,眼睛对比目标和鼻子像差。驱动鼻子,对准实物下嘴。
反馈法,玄点就叫自适应,猪都会的方法。

使用特权

评论回复
| 2019-6-26 14:12 | 显示全部楼层
另外,可以向鸡学习,
左右晃动脑袋,获得角度差信息,算出极坐标。
就直接啄下嘴。适合吃小东西。吃相不同,方法不一样。

使用特权

评论回复
| 2019-7-26 21:15 | 显示全部楼层
怎么感觉每个帖子都回复的好少啊!

使用特权

评论回复
扫描二维码,随时随地手机跟帖
您需要登录后才可以回帖 登录 | 注册

本版积分规则

我要发帖 投诉建议 创建版块 申请版主

快速回复

您需要登录后才可以回帖
登录 | 注册
高级模式

论坛热帖

关闭

热门推荐上一条 /5 下一条

在线客服 快速回复 返回顶部 返回列表