本帖最后由 Tronlong创龙 于 2025-4-10 17:03 编辑
方案亮点极致算力:瑞芯微RK3588国产平台,6TOPS高性能NPU,支持复杂神经网络推理;
实时检测:YOLOv5s模型,轻松实现640x640分辨率,49fps检测速度;
多场景适配:工业/医疗/安防等应用领域。
技术原理解析YOLO简介
YOLO(You Only Look Once)是一种基于深度学习的目标检测算法。YOLO把目标检测转变为一个回归问题,通过一次遍历即可同时预测图像中物体的位置和类别。相较与传统的目标检测方法,YOLO的主要特点是速度快且准确度较高,能够在实时场景下实现快速的目标检测,适用于目标识别跟踪、自动驾驶、工业质检等需要实时处理的场景。
图1
YOLOv5优势
YOLOv5代码开源,可在多种操作系统和硬件平台上运行,并且支持深度学习框架,这使得其更易于使用和部署。
(1)高检测速度:由于YOLOv5采用了单阶段的目标检测架构,它能够在保证一定检测精度的前提下,实现非常高的检测速度。
(2)高精度检测:通过不断优化网络结构和训练方法,YOLOv5在模型的感知能力和对小尺寸目标的检测准确性上有了很大的提升。它能够准确地定位目标的边界框,并正确地识别目标的类别。
(3)多目标检测能力:YOLOv5可以同时检测图像中的多个目标,并且能够处理不同大小、不同形状和不同类别的目标。
实测性能数据图2 RK3588 NPU典型工业应用场景图3 RK3588 NPU开发案例开发环境
本文主要介绍基于RK3588J的NPU开发案例,适用以下开发环境:
Windows开发环境:Windows 7 64bit、Windows 10 64bit
Linux开发环境:VMware16.2.5、Ubuntu22.04.5 64bit
U-Boot:U-Boot-2017.09
Kernel:Linux-5.10.209
LinuxSDK:LinuxSDK-[版本号](基于rk3588_linux_release_v1.5.0)
硬件平台:创龙科技RK3588J工业评估板(TL3588-EVM)
案例说明
本案例通过V4L2采集MIPI摄像头图像,利用RGA硬件协处理器进行裁剪和缩放,经YOLOv5模型识别目标坐标和标签,最后通过Qt将识别结果叠加到图像上,并输出至HDMI显示。
图4 案例测试
请使用FFC软排线将MIPI摄像头模块连接至评估板CAMERA2接口,将评估板HDMI OUT接口连接至HDMI显示屏。
图5 参考产品资料,完成替换内核镜像、IQ参数文件等环境搭建后,执行如下命令,将采集并识**的图像显示到显示屏上。
Target#./v4l2_yolov5_detect -M rockchip -i /dev/video-camera0 -S 1920x1080 -f NV12 -F BG24 -b 4 -o 208:71:1920x1080 -m ./model/yolov5s-640-640_rk3588.rkn
图6 显示屏上显示1920x1080@30fps画面。将摄像头朝向模型中已有可识别的物体,可看到图像上被识别物体位置出现标记框,如下图所示。
图7 本程序能够支持识别的目标数据集类型说明位于案例目录“binmodel”目录下的coco_80 _labels_list.txt文件,用户可根据相关目标类型进行测试验证。
图8 获取更多RK3588相关的开发手册和案例代码 ,可前往创龙科技官网或微信公众号。
|