【知识分享】视频开发案例分享 (上）——基于NXP i.MX 8M Mini
本帖最后由 Tronlong创龙 于 2023-6-14 11:14 编辑本文主要介绍i.MX 8M Mini的视频开发案例，包含基于GStreamer的视频采集、编解码、算法处理、显示以及存储案例，GigE工业相机测试说明，H.265视频硬件解码功能演示说明等。注：本案例评估版采用的是创龙科技TLIMX8-EVM，它是基于NXP i.MX 8M Mini的四核ARM Cortex-A53 + 单核ARM Cortex-M4异构多核处理器设计的高性能评估板，由核心板和评估底板组成。ARM Cortex-A53(64-bit)主处理单元主频高达1.6GHz，ARM Cortex-M4实时处理单元主频高达400MHz。处理器采用14nm最新工艺，支持1080P60 H.264视频硬件编解码、1080P60 H.265视频硬件解码、GPU图形加速器。核心板经过专业的PCB Layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。正面外观如下图：
评估板文件系统默认已支持GStreamer库，可执行如下命令查看GStreamer库使用说明。Target# gst-inspect-1.0 -h
图 1
GStreamer是用来构建流媒体应用的开源多媒体框架，其目标是要简化音视频应用程序的开发，目前可被用于处理MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime等多种格式的多媒体数据。案例适用的模块如下表：
表 1
案例名称适用模块
gst_mjpeg_dec_cv_edge中惠ZH5640-MIC-001（USB OV5640摄像头）
gst_rtsp_dec_display海康威视DS-IPC-B12HV2-IA（网络摄像头）
gige_captureBasler acA720-290gm（GigE工业相机）
1.gst_mjpeg_dec_cv_edge案例
1.1 案例说明
本案例使用GStreamer API通过ARM Cotrex-A53从USB摄像头获取MJPEG格式视频流并进行软件解码，然后使用OpenCV对图像进行Sobel（边缘检测）算法处理，再将经过处理的图像在显示屏中实时显示。程序工作流程框图如下所示：
图 2
本案例使用的OpenCV版本为4.4.0。
1.2 案例测试
请按照下图进行硬件连接，将USB OV5640摄像头（中惠ZH5640-MIC-001）连接至评估板USB2 HOST接口，将HDMI显示屏连接至评估板HDMI OUT接口。
图 3
开发案例位于产品资料“4-软件资料\Demo\video-demos\”目录下，将案例bin目录下的gst_mjpeg_dec_cv_edge文件拷贝至评估板文件系统中。评估板上电并进入文件系统后，可执行如下命令查询摄像头的帧率、分辨率、设备节点等参数。Target# gst-device-monitor-1.0
https://img2023.cnblogs.com/blog/2812951/202306/2812951-20230605094620647-1379328273.png图 4
在gst_mjpeg_dec_cv_edge文件所在路径下，执行如下命令查询gst_mjpeg_dec_cv_edge程序参数说明，具体如下表。Target# ./gst_mjpeg_dec_cv_edge --help
https://img2023.cnblogs.com/blog/2812951/202306/2812951-20230605094620541-1699792292.png图 5
执行如下命令采集"/dev/video1"设备节点的视频流，视频流将在Cortex-A53中进行Sobel算法处理，再将经过处理的图像在显示屏中实时显示。Target#systemctl start weston@root.service //打开Weston界面Target#./gst_mjpeg_dec_cv_edge -d /dev/video1 -w 1920 -h 1080 -f 15
https://img2023.cnblogs.com/blog/2812951/202306/2812951-20230605094620564-1442779334.png图 6
表 2
从打印结果可看到图像处理平均耗时约为52.57ms，图像采集帧率为15fps，图像处理帧率为15fps。备注：（1） 图像边缘处理平均时间，指调用OpenCV Sobel算法进行边缘检测的耗时。（2） 计算图像边缘处理帧率时使用的总时间，包含从Gstreamer队列获取数据进行边缘检测、传输数据到Gstreamer队列的所有耗时。本案例使用Sobel算法处理效果图如下所示。
图 7
本案例使用Cortex-A53进行图像采集、软件解码和算法处理，本次测试CPU占用率为120%，如下图所示。备注：i.MX 8M Mini有4个Cortex-A53核心，CPU占用率最高可达400%。
图 8
1.3 案例解析
1.3.1 GStreamer管道示意图
图 9
管道命令示例如下。如下命令仅作示例，不能在终端直接运行。Appsink:gst-launch-1.0 v4l2src device=/dev/video1 ! 'image/jpeg, width=1920, height=1080, framerate = 15/1' ! jpegdec ! appsink emit-signals=true, sync=falseAppsrc:gst-launch-1.0 appsrc ! 'video/x-raw, format=I420, width=1920, height=1080, framerate=15/1' ! stream-type=0, format=time ! imxvideoconvert_g2d ! autovideosink sync=false
1.3.2 关键代码说明
（1)初始化GStreamer，创建Pipeline。
图 10
（2)创建GStreamer组件并初始化，再检查组件初始化情况。
图 11
（3)配置各组件参数。
图 12
（4)链接组件至Pipeline。
图 13
（5)创建bus使应用程序能接收Pipeline消息，改变Pipeline状态为playing，使其开始工作。
图 14
（6)停止Pipeline。
图 15
（7)获取解码后的图像数据进行边缘检测，若正在进行边缘检测，则丢弃这一帧。
图 16
（8)边缘检测线程(sobel_thread)中，通过OpenCV Sobel算法对图像数据进行边缘检测，并将经过处理的图像数据发送至appsrc Pipeline。
图 17
（9)时间线程(time_thread)中，以秒为单位，统计程序运行时间，输出图像处理平均时间、图像采集与处理帧率。
图 18
图 19
1.4案例编译
将案例源码拷贝至Ubuntu工作目录，进入src源码目录，执行如下命令加载SDK环境变量。Host# source /home/tronlong/SDK/environment-setup-aarch64-poky-linux
图 20
执行make命令进行编译。Host#make
图 21
编译完成后，将在当前目录生成可执行文件gst_mjpeg_dec_cv_edge。
图 22
2gst_rtsp_dec_display案例
2.1案例说明
本案例使用GStreamer API通过Cotrex-A53从网络摄像头获取H.264格式视频流数据，然后通过VPU进行H.264视频硬件解码，再将解码的图像在显示屏中实时显示。程序工作流程框图如下所示：
图 23
2.2案例测试
图 24
请按照上图进行硬件连接，开发案例位于产品资料“4-软件资料\Demo\video-demos\”目录下，并将该案例bin目录下的gst_rtsp_dec_display可执行文件拷贝至评估板文件系统中。在gst_rtsp_dec_display文件所在路径下，执行如下命令查询程序参数说明，具体如下图。Target#./gst_rtsp_dec_display --help
图 25
本案例使用的网络摄像头IP地址为192.168.0.178，请确保评估板和网络摄像头IP地址处于同一网段。
图 26
执行如下命令采集视频流数据，并将解码后的视频流数据在显示屏中实时显示。Target# systemctl start weston@root.service//开启WestonTarget#./gst_rtsp_dec_display -u rtsp://admin:tl123456@192.168.0.178:554/h264/ch1/main/av_stream -w 1920 -h 1080 -f 25 -s 1//192.168.0.178为摄像头IP地址
图 27
图 28
本次测试CPU占用率为63.7%，如下图所示。备注：i.MX 8M Mini有4个Cortex-A53核心，CPU占用率最高可达400%。
图 29
2.3时延测试
时延测试方法：使用摄像头采集PC机显示屏的在线秒表图像。PC机显示画面与评估板显示画面的时间差，即为时延。进行多次测试，时延结果取其平均值。
表 3
2.4 案例解析
2.4.1 GStreamer管道示意图
图 30
2.4.2 关键代码说明
（1)初始化Gstreamer，创建Pipeline。
图 31
（2) 创建GStreamer组件并初始化，再检查组件初始化情况。
图 32
（3) 配置各组件参数。
图 33
（4)链接组件至Pipeline。
图 34
（5) 创建bus使应用程序能接收Pipeline消息，改变Pipeline状态为playing，使其开始工作。
图 35
（6) 停止Pipeline。
图 36
2.5案例编译
将案例源码拷贝至Ubuntu工作目录，进入src源码目录执行如下命令加载SDK环境变量。Host# source /home/tronlong/SDK/environment-setup-aarch64-poky-linux
图 37
执行make命令进行编译。Host# make
图 38
编译完成后，将在当前目录生成可执行文件gst_rtsp_dec_display。
图 39
如果你还想了解更多嵌入式应用的相关知识，欢迎关注Tronlong创龙科技~
页:
[1]