基于Blackfin的图像处理，及其性能与CMOS传感器中ISP的比较

图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。遍布航天航空、医疗设备、通信工程、军事安防、文化艺术等众多方面。近年来，随着消费类产品尤其是拍照手机、数码相机、数码摄像机等一系列数码产品的问世，这些视频设备中蕴含的图像信号处理功能也逐渐被人们所认知和关注。而伴随近年来数字电视、IP摄像机、网络摄像头以及监控摄像头这类安防产品的迅速发展，更表明市场对智能监控需求的不断增长，这也是图像信号处理技术不断丰富和完善的过程。在这些图像信号处理中，包括自动对焦、自动曝光、自动白平衡以及颜色变换、背光补偿等都是一些基本的图像处理算法。

传统的图像信号处理是通过专用的图像处理器完成的。而随着CMOS技术的不断发展，也出现了将图像信号处理（ISP）内置于CMOS图像传感器中的单芯片产品，这类传感器产品可借助其内部集成的功能模块完成一些图像信号处理的算法，包括自动曝光、自动白平衡、颜色变换等这些基本的算法。这类ASIC产品的出现曾一度颇具争议，因为虽然将ISP内置于传感器中具有降低功耗和节省占用面积的优点，但单就手机应用而言，从成本来讲，将ISP集成在传感器上的成本比ISP集成在移动多媒体处理器或基带上要高很多。随着传感器分辨率的提高，越来越多的传感器将只整合输出数字信号所必需的电路，而将图像处理及压缩等功能集成于移动多媒体处理器或基带中。而从成像质量来看，在移动多媒体处理器中集成功能强大的图像处理功能效果更佳，而且此趋势随分辨率的提高会愈加明显。所以业界一直有ISP与CMOS传感器将背离集成的趋势预言。但从近年来的CMOS传感器供应商推出的新产品线来看，这一预言未能兑现。因为我们看到，不断有一线的CMOS传感器供应商如Aptina、OmniVision推出最新的内置ISP的CMOS图像传感器单芯片产品，并在不断完善其功能、扩展其应用领域。目前已推出的这类单芯片产品除拥有包括曝光控制、伽玛校正、白平衡、色彩饱和度调节以及灰度控制等多种图像处理功能外，还可提供出色的低照度性能，在夜视环境下还具有优异的近红外响应性能，能为摄像头制造商提供更完善的自动白平衡和自动曝光功能，图像性能毫不逊色。一系列优异性能使其已由最初的拍照手机、数码相机、数码摄像机应用逐渐发展到网络摄像头、监控摄像头等新兴安防产品领域，其扩张态势仍在继续，大有星火燎原之势。

应该说在数码相机等追求小巧轻薄的消费类产品应用中，内置ISP的CMOS传感器存在一定的竞争优势，低功耗和小面积的表现以及随生产规模而不断降低的成本使其成为众多应用厂商的宠儿。在这同时我们要看到，这种内置ISP的CMOS传感器方案目前还只能完成一些不太复杂的算法，而随着智能化要求的不断提高，消费类产品，尤其是视频监控等安防产品都要求更高的视频处理功能，也就要求更复杂的算法，而复杂的算法对主芯片的处理能力提出更高的要求。如传统上许多监控摄像机基于像素分辨率为NTSC(352×240)或PAL(352×288)的准普通媒体格式(CIF)，同时在压缩格式方面主要采用了不太复杂的M-JPEG格式，从而对DSP处理性能要求不高。但是随着视频监控市场的迅速发展，人们期待更高的图像清晰度和更高的帧率。在分辨率方面，业界期待D1（704×576）或者更高的解析度；在编解码方面，则期待采用复杂的MPEG-4压缩格式。同时，随着网络互联的发展，当DVR、DVS或者IP摄像机作为网络终端时，还需要考虑如何在传输过程中占用更少的带宽，因此MPEG-4正在向压缩比更高的H.264和AVS的编码格式演进。而这些更为先进的视频信号分辨率和压缩格式则会大大提高对核心处理器中处理能力的需求。除了强大的处理能力之外，还需要处理器平台提供足够的灵活性。从目前来看，在压缩格式方面虽然H.264最受业界青睐，有望成为未来几年的的主流。但是，由于M-JPEG、H.263、MPEG4和H.264等编解码算法各有优势，再加上市场需求的多元化，这些标准将会在一段时间内共存。要使方案具有竞争力，必须对尽可能多的标准给予支持。同时，媒体处理格式和算法也在不断更新，当更为先进的算法出现时，工程师希望只需在原有解决方案基础上进行基于软件的简便的升级，而不是重新设计。同时，视频监控又有其对保密性等安全技术的特殊要求，无论是商业还是家庭应用，设备本身都存在着被非法侵入和黑客攻击的威胁，要充分保障设备的安全性对产品设计无疑是很大的挑战。在这时，内置ISP的单芯片CMOS传感器产品就显示出先天不足的缺点，因其尚不能完成如此复杂的功能，而要配备单独的图像处理器才能满足要求。ASIC虽然具有成本优势，但是在应对媒体格式、算法的改进和升级方面则具有天生的弊端，在音视频标准不断演进以及算法不断改进的视频监控市场，ASIC显得逊色很多。

在这里，传统的处理器供应商如ADI、TI、NXP等具有不可替代的竞争力。其中ADI公司专为满足当今嵌入式音视频和通信应用的计算要求及功耗约束条件而设计的新型嵌入式处理器Blackfin系列以其突出的性能表现而格外抢眼。

Blackfin系列处理器在图像处理方面有其独特的技术优势，包括：

* 可以升级到最新的视频标准，向用户提供处理所有现有标准和未来标准的能力；

* 动态电源管理。所有的 Blackfin 处理器均采用了多种节能技术。Blackfin 处理器基于一种选通时钟内核设计，可按照逐条指令来选择性地切断功能单元的电源。还支持多种针对所需 CPU 动作极少（或根本不需要 CPU 动作）期间的断电模式。该处理器还支持一种自含动态电源管理电路，借助该电路即可对工作频率和电压进行独立控制，以满足正在执行的算法的性能要求。这些转换可以在一个 RTOS 或用户固件的控制之下连续出现。大多数 Blackfin 处理器都提供了片上内核稳压电路，并可在低至 0.8V 的电压条件下工作，因而特别适合于需要延长电池使用寿命的便携式应用；

* 具有高性能处理器内核。该处理器架构基于一个10级RISC MCU/DSP流水线和一个专为实现最佳代码密度而设计的混合16/32位指令集架构，该架构很适合于高密度、大运算量的图像处理系统；

* 高带宽的DMA。图像处理系统需要对大量的图像数据进行处理，这涉及到内存数据存取，采用Blackfin的二维DMA控制器可以实现自动数据传输，大幅度减少处理器的内核开销；专用的视频指令集，图像处理中存在大量的视频像素处理，Blackfin处理器具有专门为8位视频数据以及常用的视频像素处理算法设计的指令集，大大提高了处理速度；

* 分级的存储空间。Blackfin具有L1和L2两级Cache，对于一些不适合使用DMA操作的数据，可以采用数据/代码缓冲的模式来加快处理速度；

* 丰富的外设功能。Blackfin具有高速的串/并行数据接口，可以无缝的连接其它高速器件；

* 安全方面，Blackfin Lockbox Secure Technology利用软硬件相结合的方式来实现各种安全保护功能。对系统进行鉴定的公共密钥存储于单次可编程（OTP）内存中的用户可编程区域，这种存储方式可以由OEM来控制和定义。同时由于其具有可编程性，使指令集可实现丰富的软件加密算法，意味着相同的装置能支持多种内容保护格式。故该技术可从来源的验证、内容的完整性、机密性以及可更新性等多方面为整个视频监控设备提供一个安全环境；

* 低功耗、低成本也是Blackfin拥有突出性价比的制胜法宝。

基于以上技术特点，同时由于其强大的多媒体处理能力、专业的算法支持、和嵌入式实时操作系统，使Blackfin不仅能实现优异的自动对焦等3A1B算法，还能够执行复杂的如自动精选代码等计算密集型算法，尤其在对处理器要求极高的智能视频监控等产品中更发挥着出色的作用。

仅以智能视频监控产品为例，尽管已经取得了巨大进展，智能视频分析领域目前仍无公认的最优方法。其自身研究内容的复杂性，使得算法复杂度高，适用范围有限，研究方法和工具多样，没有鲁棒性、准确度、速度都符合需求的普遍方法。同时，视频监控系统的网络化和分布式处理的要求，以及大规模工程安装对成本、体积和功耗的限制，使运算能力和带宽都在不断提高的嵌入式处理器成为视频监控系统的主流选择。而非标准化的智能视频分析，正是DSP的用武之地。

Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量，高数据吞吐率的要求。10级流水线使得Blackfin有很强的指令并行执行能力。零开销循环控制指令让系统中的大量循环跳转不再消耗任何处理器的时钟周期。利用这些优势，real解码器的idct4×4算法在Blackfin上速度提高了7倍。

另外，视频数据也有其自身的特性。在不同的颜色空间内，表示像素的每个分量通常是8位宽度。

Blackfin的4个视频算术运算单元和视频像素指令集大大加速了视频运算速度。一条视频像素操作指令可以在一个周期内完成4对视频数据分量的加法、减法、加减混合、取平均值或者相减并求绝对值等11种视频像素运算。这些运算在编解码算法中的运动估计、loopfilter和智能视频分析的各种算法中大量应用。在智能视频分析的一些基础算子中，如直方图统计，中值运算，Sobel运算，形态学中的膨胀运算等都可以利用Blackfin的MIN,MAX指令来消除条件跳转，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的向量运算。适当地设计数据结构，在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令从而使智能视频分析的算法更加快捷。这些有效的指令中，大部分指令都能并行执行，使Blackfin的处理能力再加倍。

应用方面，由南京新奕天科技有限公司与香港大学合作开发出的基于Blackfin系列最新产品BF561的一流智能视频监控设备ThinkSmart已经推向市场。其中BF561独特的双核设计使ThinkSmart在处理核上能独立的运行图像处理和系统控制任务，从而达到最佳的整体性能，使此款产品能够简单而又有效检测威胁或闲杂访客，实现一系列智能化视频监控功能。

Blackfin系列处理器在图像处理方面，尤其是应对智能化的技术挑战方面，是众多应用厂商的理想之选。ADI公司也在努力通过最新的CMOS深亚微米工艺尺度、更深的流水线、多内核、每个核心更多的计算单元，以及充分利用信号处理加速引擎，继续提高Blackfin系列的性能，增强其在性价比和性能功耗比方面的领先地位。