[应用相关] 使用OpenMV循迹

[复制链接]
1777|38
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:33 | 显示全部楼层 |阅读模式
本章节主要讲解如何使用OpenMV循迹以及OpenMV与STM32串口通信

前言
软件:STM32CubeMx、Keil5 MDK、串口调试助手XCOM、OpenMV_IDE

硬件:OpenMV、STM32F103C8T6核心板、下载器ST_LINK、USB转TTL或J-LINK、小车一辆

OpenMV简介
OpenMV是一个开源,功能强大的机器视觉模块。

它以STM32F427CPU为核心,集成了OV7725摄像头芯片,在小巧的硬件模块上,用C语言高效地实现了核心机器视觉算法,提供Python编程接口。它的机器视觉算法包括 寻找色块、人脸检测、眼球跟踪、边缘检测、标志跟踪等等。
3142964c4ced8b95be.png

 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:34 | 显示全部楼层
循迹方法
运行起来的效果如图所示
3176564c4cef995f63.png
该方法和一般循迹模块的原理差不多。

使用红框对图像进行分割,这些框作为我们用来巡线的依据,当出现在框内的颜色,符合设置的阙值,就相当于检测到了赛道线。

使用OpenMV循迹的方便之处在于各种颜色的线都可以寻,只需要将对应的阙值修改过了就可以了,并且OpenMV还可以同时完成识别数字或者物体的任务,具体资料可查看星瞳科技官网。
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:34 | 显示全部楼层
具体实现
接下来我们将展示如何实现OpenMV循迹。

首先,我们先设置我们摄像头拍摄到画面上的框大小和位置
  1.     for rec in roi1:
  2.         img.draw_rectangle(rec, color=(255,0,0))#绘制出roi区域   就画出框
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:34 | 显示全部楼层
绘制5个检测区域,对应五路循迹
  1. roi1 =     [(0, 40, 20, 40),        # L1 x y w h        每个对应画的框的位置,最后两个是框的大小
  2.             (35, 40, 20, 40),       # L2
  3.             (70,40,10,10),          # M0
  4.             (105,40,20,40),         # R1
  5.             (140,40,20,40)]         # R2
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:35 | 显示全部楼层
设定要识别的颜色阙值,下面是黑线的阙值代码,如果要循其他颜色的线,需要将其修改成对应颜色的阈值即可
GROUND_THRESHOLD=(21, 100, -124, 32, -26, 22)#黑线  设置要寻的线的阈值。在颜色空间中,阈值被用于定义需要跟踪的颜色
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:35 | 显示全部楼层
主函数部分
检测到线返回1,否则返回0
  1.     blob1=None
  2.     blob2=None
  3.     blob3=None
  4.     blob4=None
  5.     blob5=None
  6.     flag = [0,0,0,0,0]
  7.     img = sensor.snapshot().lens_corr(strength = 1.7 , zoom = 1.0)#畸变矫正  获取图像帧


  8.     blob1 = img.find_blobs([GROUND_THRESHOLD1], roi=roi1[0]) #left
  9.     blob2 = img.find_blobs([GROUND_THRESHOLD1], roi=roi1[1]) #middle
  10.     blob3 = img.find_blobs([GROUND_THRESHOLD1], roi=roi1[2])
  11.     blob4 = img.find_blobs([GROUND_THRESHOLD1], roi=roi1[3])
  12.     blob5 = img.find_blobs([GROUND_THRESHOLD1], roi=roi1[4])

  13.     if blob1:
  14.         flag[0] = 1  #左边检测到黑线
  15.     if blob2:
  16.         flag[1] = 1  #中间检测到黑线
  17.     if blob3:
  18.         flag[2] = 1  #右边检测到黑线
  19.     if blob4:
  20.         flag[3] = 1  #中间检测到黑线
  21.     if blob5:
  22.         flag[4] = 1  #右边检测到黑线
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:35 | 显示全部楼层
串口通信部分
控制小车循迹使用OpenMV往往是不够的,我们一般使用OpenMV对赛道图像进行处理,将处理过后的数据使用串口发送给STM32,使用STM32控制小车行驶。

它的目的是为了将OpenMV观测到的数据告诉STM32,让小车做出相对的反应。
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:35 | 显示全部楼层
代码如下:

初始化串口3,波特率115200,8 bit,无奇偶校验,1停止位,溢出时间1000ms
  1. uart = UART(3,115200,bits=8, parity=None, stop=1, timeout_char = 1000)   #初始化串口
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:36 | 显示全部楼层
处理数据,将数组2进制数转换为16进制数打包发送
  1. data=0
  2. for i in (0,1,2,3,4): # 0 1 2 3 4      把从最左边到最右边,检测到的记1,然后转化成16进制
  3.         data|=(flag[i]<<(4-i))
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:36 | 显示全部楼层
以一定协议的格式发送
  1. def sending_data(data):  #A5 A6 data
  2.     global uart;
  3.     data = ustruct.pack("<bbb",      #格式为俩个字符俩个短整型(2字节)
  4.                    0xA5,                      #帧头1
  5.                    0xA6,
  6.                    data
  7.                    )        #数组大小为7,其中2,3,4,5为有效数据,0,1,6为帧头帧尾
  8.     uart.write(data);   #必须要传入一个字节数组
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:36 | 显示全部楼层
STM32串口解析
使用中断回调函数对数据进行解析
  1. void HAL_UART_RxCpltCallback(UART_HandleTypeDef *huart)
  2. {
  3.   UNUSED(huart);
  4.        
  5.         if(huart->Instance == USART1)
  6.         {
  7.                 rec_dat[rec_pointer++] = rec_buf;
  8.                
  9.                 if(rec_pointer == 3)//接收完成
  10.                 {
  11.                         rec_pointer = 0;
  12.                         if(rec_dat[0] == 0xA5 && rec_dat[1] == 0xA6)//判断帧头
  13.                                 sensor_val = rec_dat[2];
  14.                         else
  15.                                 memset(rec_dat,'\0',sizeof(rec_dat));
  16.                 }
  17.                 HAL_UART_Receive_IT(&huart1,(uint8_t *)&rec_buf,1);
  18.         }
  19. }
 楼主| 烟雨蒙蒙520 发表于 2023-7-29 16:37 | 显示全部楼层
将STM32与OpenMV连接

OpenMV_RX P5接STM32_TX1 PA9
OpenMV_TX P4接STM32_RX1 PA10
OpenMV_GND接STM32_GND

进入Debug可以观察到sensor_val的变化,根据sensor_val的变化驱动左右轮转速沿着赛道线循迹,具体循迹部分可参考往期教程。
wilhelmina2 发表于 2023-8-4 13:16 | 显示全部楼层
openmv的作用是循迹还是避障
i1mcu 发表于 2023-8-4 15:17 | 显示全部楼层
openmv模块有没有测速模块?
wilhelmina2 发表于 2023-8-4 15:41 | 显示全部楼层
openmv怎么才能只锁定一个物体
updownq 发表于 2023-8-4 17:18 | 显示全部楼层
需要下载并安装OpenMV IDE,这是用于编程和控制OpenMV摄像头的集成开发环境。
eefas 发表于 2023-8-4 17:44 | 显示全部楼层
调整图像处理参数、改善算法鲁棒性、优化追踪算法等,以提高循迹的准确性和稳定性。
wilhelmina2 发表于 2023-8-4 18:37 | 显示全部楼层
在使用OpenMV进行循迹时,需要保证 没有其他干扰因素。
mnynt121 发表于 2023-8-4 21:09 | 显示全部楼层
openmv怎么执行多任务              
ccook11 发表于 2023-8-4 21:28 | 显示全部楼层
openmv如何增强锐化效果              
您需要登录后才可以回帖 登录 | 注册

本版积分规则

41

主题

720

帖子

0

粉丝
快速回复 在线客服 返回列表 返回顶部