本案例使用GStreamer API通过ARM Cotrex-A53从USB摄像头获取MJPEG格式视频流并进行软件解码，然后使用OpenCV对图像进行Sobel（边缘检测）算法处理，再将经过处理的图像在显示屏中实时显示。
程序工作流程框图如下所示：
图 2
本案例使用的OpenCV版本为4.4.0。
1.2 案例测试
请按照下图进行硬件连接，将USB OV5640摄像头（中惠ZH5640-MIC-001）连接至评估板USB2 HOST接口，将HDMI显示屏连接至评估板HDMI OUT接口。
图 3
开发案例位于产品资料“4-软件资料\Demo\video-demos\”目录下，将案例bin目录下的gst_mjpeg_dec_cv_edge文件拷贝至评估板文件系统中。评估板上电并进入文件系统后，可执行如下命令查询摄像头的帧率、分辨率、设备节点等参数。
Target# gst-device-monitor-1.0
图 4
在gst_mjpeg_dec_cv_edge文件所在路径下，执行如下命令查询gst_mjpeg_dec_cv_edge程序参数说明，具体如下表。
Target# ./gst_mjpeg_dec_cv_edge --help
图 5
执行如下命令采集"/dev/video1"设备节点的视频流，视频流将在Cortex-A53中进行Sobel算法处理，再将经过处理的图像在显示屏中实时显示。
Target#./gst_mjpeg_dec_cv_edge -d /dev/video1 -w 1920 -h 1080 -f 15
图 6
表 2
从打印结果可看到图像处理平均耗时约为52.57ms，图像采集帧率为15fps，图像处理帧率为15fps。
备注：
（1） 图像边缘处理平均时间，指调用OpenCV Sobel算法进行边缘检测的耗时。
（2） 计算图像边缘处理帧率时使用的总时间，包含从Gstreamer队列获取数据进行边缘检测、传输数据到Gstreamer队列的所有耗时。
本案例使用Sobel算法处理效果图如下所示。
图 7
本案例使用Cortex-A53进行图像采集、软件解码和算法处理，本次测试CPU占用率为120%，如下图所示。
备注：i.MX 8M Mini有4个Cortex-A53核心，CPU占用率最高可达400%。
图 8
1.3 案例解析
1.3.1 GStreamer管道示意图
图 9
管道命令示例如下。如下命令仅作示例，不能在终端直接运行。
Appsink:gst-launch-1.0 v4l2src device=/dev/video1 ! 'image/jpeg, width=1920, height=1080, framerate = 15/1' ! jpegdec ! appsink emit-signals=true, sync=false
Appsrc:gst-launch-1.0 appsrc ! 'video/x-raw, format=I420, width=1920, height=1080, framerate=15/1' ! stream-type=0, format=time ! imxvideoconvert_g2d ! autovideosink sync=false
1.3.2 关键代码说明
（1)初始化GStreamer，创建Pipeline。
图 10
（2)创建GStreamer组件并初始化，再检查组件初始化情况。
图 11
（3)配置各组件参数。
图 12
（4)链接组件至Pipeline。
图 13
（5)创建bus使应用程序能接收Pipeline消息，改变Pipeline状态为playing，使其开始工作。
图 14
（6)停止Pipeline。
图 15
（7)获取解码后的图像数据进行边缘检测，若正在进行边缘检测，则丢弃这一帧。
图 16
（8)边缘检测线程(sobel_thread)中，通过OpenCV Sobel算法对图像数据进行边缘检测，并将经过处理的图像数据发送至appsrc Pipeline。
图 17
（9)时间线程(time_thread)中，以秒为单位，统计程序运行时间，输出图像处理平均时间、图像采集与处理帧率。
图 18
图 19
1.4 案例编译
将案例源码拷贝至Ubuntu工作目录，进入src源码目录，执行如下命令加载SDK环境变量。
Host# source /home/tronlong/SDK/environment-setup-aarch64-poky-linux
图 20
执行make命令进行编译。
Host#make
图 21
编译完成后，将在当前目录生成可执行文件gst_mjpeg_dec_cv_edge。
图 22
2 gst_rtsp_dec_display案例
楼主
标题置顶
标题高亮
