1 引 言
红外热成像技术在军事领域得到广泛的应用。但是通常的热成像系统的瞬时视场都很小,为了扩大视界通常采用光机扫描机构,扫描机构的引入使得系统结构复杂化。而且由于扫描速率的限制,容易造成目标动态信息的丢失。随着红外广角镜头的出现,克服了光机扫描的缺点。此时,实时超大视场红外图像处理成为目标检测、目标识别和目标跟踪的关键技术。由于红外镜头的视场角大,在像面上所成的红外图像产生了畸变和渐晕,使得目标在边缘视场较中央视场信号微弱,需要对图像进行畸变和渐晕的校正处理。在大视场红外图像处理的数据量大,实时红外图像处理系统必须具有高速的运算能力。本文采用DSP+FPGA结构设计的实时超大视场红外图像处理系统能够满足高速采样数据流快速存取、快速运算的实时性要求。
2 系统主要芯片的功能特点
根据实时红外图像处理系统的要求,系统硬件结构中的DSP芯片选用了TI 公司的TMS320C6414芯片,其具有强大的运算能力和出色的对外接口能力。该芯片CPU主频为600MHz,数据处理能力峰值可达4800MIPS(每秒48亿条指令)。采用了VelociT1.2结构,由8个相互独立的功能单元构成。包含两组通用寄存器组,每组含有32个32位寄存器。片内采用2级存储器结构。芯片内部集成了多种外围设备:扩展的直接存储器访问(EDMA),外部存储器接口EMIFA(64bit)和EMIFB(16bit,主机口(HIP),3个多通道缓冲串口(McBSP),定时器等。
为协调各种不同功能芯片间的运作,并完成图像预处理工作,减轻DSP的负担。系统采用了Xilinx公司的Virtex-Ⅱ系列的XC2V2000芯片,系统门密度为2M,内嵌专用硬件乘法器,内嵌1008Kbit的Block RAM,可用来配置RAM、FIFO、双口RAM,以及包含8个数字时钟管理模块(Digital Clock Manager DCM)其频率范围24MHz~420MHz。
3 系统的组成
3.1 系统数据流程
系统数据处理流程如图1所示。首先,对输入的数字视频信号进行采集,提取有效的数据单元。接着,对采集到的数据进行图像预处理。然后,进行图像处理,完成检测跟踪算法,实现对目标的检测与跟踪。最后,输出模拟视频图像到监视器,以便观察跟踪效果。
3.2 系统硬件结构
系统的硬件结构如图2所示。主要由四部分组成:FPGA模块,DSP模块,扩展存储模块和模拟视频输出模块构成。
(1) FPGA模块:
系统采用了可编程芯片FPGA,协调各种具有不同功能芯片的运作。芯片内部结构框图如图3所示:
FPGA主要完成如下四方面工作:图像采集,图像预处理,配置输入缓存及输出缓存。
① 图像采集:根据探测器输出的数字视频信号的场同步(Vsync),行同步(Hsync)以及主时钟(MC),通过计数器计数判断何时出现有效的数据单元,发送控制信号采集有效数据单元。
② 图像预处理:对采集到的有效数据单元,进行高效率的图像滤波预处理以除去系统噪声。
③ 输入缓存:该模块是由FPGA的Block RAM 配置成输入缓冲存储器
。预处理后的有效数据单元,可以连续不间断地写入
。并通过
的半满标志位(HF)触发TMS320C6414的EMDA同步事件,使用EDMA控制器将原先所存储的数据,通过PDT(Peripheral Device Transfer)的传输方式,直接将
中的存储的数据以EDMA方式导入SDRAM中,以供后续的图像处理。
④ 输出缓存:该模块也是由FPGA的Block RAM 配置成输出缓冲存储器
。外部产生的视频特征信号触发TMS320C6414 的EMDA通道,使得图像数据从DSP片内数据存储器向
传输。同时,
中以前存储的数据在时钟的作用下连续地被送往图像输出模块进行编码。
(2)DSP模块:
本系统中采用主频为600MHz的TMS320C6414芯片为核心,完成目标的检测和跟踪算法,其系统结构框图如图4所示:
DSP芯片主要完成如下功能:
① 通过EMIFA口,扩展数据存储空间,存储待处理的图像数据;通过EMIFB 扩展程序存储空间。
② 从外部数据存储器SDRAM中调入图像数据,运行系统的检测和跟踪算法,检测运动目标,并确定其方位。
③ 根据运算结果,通过多通道缓冲串口0(McBSP0),控制伺服系统动作。
④ 通过多通道缓冲串口1(McBSP1),实现人机接口功能。
⑤ 与FPGA建立即时通信,实现系统程序模块间的调度与协调。
(3)扩展存储模块:
主要扩展了外部数据存储器SDRAM(MT48LC4M16A2)和外部程序存储器FLASH(MBM29LV800TA),SDRAM是通过DSP的EMIFA口扩展的存储空间,主要用来存储待处理数字图像,采用环形存储结构,每次读缓冲区,取到的总是未被读取的最旧的一帧图像。当缓冲区满后,除非将其中的一些数据读走,以空出空间,否则新的图像帧将会丢失。FLASH 用于存储跟踪算法的应用程序及FPGA的配置文件,当DSP复位后则完成DSP的初始化,FPGA的配置并运行应用程序实现检测和跟踪功能。
(4)视频输出模块:
通过EDMA方式,从DSP的片内数据存储器将图像数据调入输出缓冲
,从
不间断地输出数字单元至编码器(SAA7120)进行编码转换模拟视频信号,输出到监视器,以便观察图像检测与跟踪算法的效果。
4 结论
本文使用高性能的DSP(TMS320C6414)和可编程逻辑器件FPGA(Virtex-Ⅱ系列的XC2V2000),结合了模块化设计思想,设计了超大视场红外目标实时检测与跟踪系统,该系统具有很好的重构性、实时性及可靠性。通过反复试验表明,该实时红外检测系统对IR109机芯输出的数字视频信号(每场320×240有效像素,每个像素14bit,场频50Hz)能够进行实时处理,对超大视场中的运动点目标、面目标完成检测和跟踪功能。跟踪无延时,主要技术指标均能满足项目的要求,具有很好的应用前景。