视频跟踪/视频增强/电子稳像/视频融合等技术在视频监控中

本文介绍上海凯视力成信息科技有限公司多年专心研究积累的一些工程化的图像处理技术在视频监视方面的一些应用。

        自动视频跟踪是通过图像处理算法，实时计算出选定的目标（如人、车辆等）在图像中的精确位置，并控制状态转动，从而保持目标始终处在视频窗口中的一个指定位置。电子稳像演示视频一.mpg

    系统框图如下：

         1：监视器，用于监视跟踪视频

         2：手柄，用于摄像机转台控制和跟踪操作

         3：自动视频跟踪模块

         4：转台

        跟踪演示视频：跟踪.mpg

        正因为使用自动跟踪技术能够自动控制转台运动，从而保持选定的目标始终处于屏幕（或图像）中特定的位置（这个位置可以是图像中心，也可以是屏幕的其它位置）。因而，给我们带来如下意义：上海凯视力成信息科技有限公司

        （1） 减轻人工负担。可以自动对运动目标进行连续的观察监视。

        （2）  目标指示。由于自动跟踪维持目标始终处于屏幕的指定位置，因此：

                 a) 当我们知道转台的方位角和俯仰角时，就可以获得目标的方位角和俯仰角等位置信息。

                 b) 我们可以用处于不同位置的两套跟踪设备对同一目标进行跟踪，构成立体视觉系统，可以获得目标的距离、高度、方位角、俯仰角等信息。

                 c) 如果我们把激光器与摄像机固定安放在在同一平台上的时候，那么通过自动跟踪技术就可以维持目标始终处于激光光斑位置，也即保持激光能够始终打在运动目标上，这样就可以实现激光制导、测距等功能。

由此可见，自动跟踪技术在视频监视领域具有很重要的意义，可应用于下面一些领域：

        （1）机载光电观瞄系统

        （2）车载光电跟踪系统

        （3） 舰船光电跟踪系统

        （4） 火箭发射、飞机起降、实时**弹自动视频跟踪系统

        （5） 监视，如边防监视跟踪系统

        （6） 炸*等武器系统目标指示

        （7） 武器系统评估

        （8） 模拟器系统

        （9） 轨迹分析

        （10）图像匹配

        （11）跟踪系统自动校准

        （12）激光系统对齐

        （13）目标空间测量

        （14）生物分析

        视频拼接是通过图像处理算法，对一组视频画面进行矫正配准无缝拼接成一个更大视场的视频画面。这一组视频，可能是来自由多个小视场摄像机组成的对一个大视场的完整监视，这称为多镜头视频拼接；也可能是来自单个摄像机，这个摄像机通过转动实现对一个大视场的扫描监视，这称为单镜头视频拼接。上海凯视力成信息科技有限公司

        多镜头拼接示意图：

图2 多镜头拼接示意图

         1：监视器

         2：多镜头视频拼接设备

         3：转动摄像机

        单镜头拼接示意图：

图3 单镜头拼接

         1：监视器

         2：单镜头视频拼接设备

         3：转动摄像机

        多镜头拼接演示视频：多镜头视频拼接.mp4，多镜头视频拼接二.mpg

       单镜头拼接演示视频：单镜头视频拼接.mpg

视频拼接技术将多个较小视场的画面拼接成更大的视场的画面，使得我们看得更广。它给我们带来如下好处：

        （1） 增强对监视区域或周围态势的视觉感知能力。超宽监视视角，360度的全景视频尽收眼底，全局感、方位感大为增强，并消灭了监视死角。

        （2） 虚拟PTZ技术。采用虚拟PTZ技术，可以放大或放大监视视场内的图像区域，当改变方向观察另一个图像区域时，不会发出任何噪音，隐秘且不易察觉。由于没有机械移动部件，不需要时刻进行机械转动，无磨损，结实耐用，寿命长。与机械PTZ不同，虚拟PTZ可以同时观察多个不同的区域。

       （3） 相对于由鱼眼镜头实现的全景视频，通过拼接技术构建的全景视频，克服了鱼眼镜头只能看近距离（一般用于室内）的缺陷，可以看得更远更清楚，且没有像素限制，更不会存在中间与边缘分辨率差距巨大的问题。

        视频拼接可应用于：

        （1）军事上，飞机、装甲车、舰船等周围态势的视觉感知。

        （2）公安领域，警车、巡逻车、反恐、押运等特种车辆。

        （3）边海防视频监视上海凯视力成信息科技有限公司

        （4）广场、运动场等大范围公共场所监视

        （5）交通枢纽、港口码头、停车场、银行、加油站等视频监视。

        在恶劣气象条件下，如雾霾、雨雪、光线昏暗、烟、水气、沙尘等，摄像机产生的视频图像质量会严重下降，图像模糊不清，视频增强技术是通过图像处理算法，对这类劣质视频图像进行有效处理，从而显著改善视觉效果，提高画面清晰度，提高摄像机的探测能力。

图4 视频增强示意图

图5 雪天视频增强效果图

图6 雾天视频增强效果图

图7 雾霾天视频增强效果图

图8 沙尘暴视频增强效果图

         增强演示视频：增强演示视频一.mpg，增强演示视频二.mpg，增强演示视频三.mpg，增强演示视频四.mpg

视频增强可应用于：

        （1）飞机、舰船、车辆等的光电系统

        （2）边海防、交通等安防监视

        （3）视频后期处理

        在很多视频监视场合，往往存在机械震动，如摄像机安装在飞机、车、船、空调、PTZ云台、加热通风设备等上，还有室外刮风、车辆行驶等都会造成摄像机晃动，尤其是在高倍镜头监视情况下，抖动就更为严重。通过图像处理算法，可以有效地去除这些抖动，使得视频图像更易于观察监视。

图10 电子稳像示意图

        电子稳像演示视频：电子稳像演示视频一.mpg ，电子稳像演示视频二.avi，电子稳像演示视频三.mpg，电子稳像演示视频四.wmv。

        电子稳像技术的应用可以消除视频的抖动，而抖动的危害有：

        （1）抖动的视频无法让人看清细节，从而影响视频监视的质量。

        （2） 抖动的视频是非常令人生厌的，并极易引起视觉疲劳。

        （3）抖动的视频对后端的压缩非常不利，并会导致压缩码流急剧上升，不利于存储和网络传输。

        （4）抖动的视频，不利于后端视频分析设备的处理。

         电子稳像的应用：

        （1）飞机、车辆、舰船等交通工具上的视频监视。

        （2）边海防监视，尤其是多风的海边。

        （3）道路交通监视：道路、桥梁、隧道。

        （4）有如空调、风机等大型机器震动场合的监视，如厂、矿。

       （5）视频后期处理。

        视频融合技术是将不同类型的光电成像传感器获取的同一景物图像进行几何配准，然后采用一定的算法将各图像中所含信息优势或互补性有机结合起来，产生新的图像，提高了光电系统的识别探测能力。

        如图11为热像仪夜间图像，由于热像成像机制是对热的反应，而对可见光并没有反应，因此看不到村庄的灯光，将这个热像图像，与可见光传感器如CCD的图像融合到一起，就可以获得融合后的图像如图12和图13所示，显然，融合后的图像信息大为丰富。

图11 热像仪的夜间图像

图12 CCD与热像仪的图像融合后的图像

图13 CCD与热像仪的图像融合后的图像

        可见，由于增加了图像的信息量，因此，视频融合技术可以带来如下好处：

       （1）改善图像的可视性和可信度，减少图像信息的模糊不确定性。

       （2）提高系统的作用范围和全天候的工作能力。

        视频融合技术的应用：

        （1）机载、车辆、舰船上的光电探测。

        （2）边海防视频监视。

        （3）重点场所的视频监视。

        超分辨率技术在视频中的应用，一般是利用多帧视频图像，进行配准插值和图像放大，以获得更为精细的超高分辨率图像，以增加探测距离。

图13 超分辨率重构示例图

       超分辨率演示视频：超分辨率演示视频一.mpg上海凯视力成信息科技有限公司

        超分辨率技术的应用：

        （1） 机载、车辆、舰船上的光电探测。

        （2）边海防视频监视系统。

        （3） 公安侦查鉴定。

        （4）银行、证券等部门的安全监控系统中

        （5） 医学成像系统。