DMD 结合图像传感器的高动态场景成像探测

陈怀章 1,2，王延杰 1,3，孙宏海 1,3，陈春宁 1,3，樊 博 1,2

(1. 中国科学院长春光学精密机械与物理研究所，吉林 长春 130033；2. 中国科学院大学，北京 100049；

3. 中国科学院航空光学成像与测量重点实验室，吉林 长春 130033)

摘 要： 微镜阵列 DMD 空间光调制器结合图像传感器能够解决高动态场景中强弱目标同时探测的问题，获得高动态图像数据，能使光电成像设备动态范围扩展到 130 dB 以上。 为了实现快速的像素级光强控制以及获得高质量的实际场景高动态图像数据， 根据实际场景成像其非边缘区域的相邻像素值变化缓慢的特点，提出了一种适合 DMD 驱动方式的像素级调光算法-自适应空间区域法，它具有较快的收敛速度，最坏的情况下，经过 N/I 次即可完成调光权值的搜索；在以 FPGA 为驱动核心的高动态场景成像探测实验系统平台上，对 DMD 的驱动时序进行了分析研究。 并通过此实验平台验证了自适应空间区域法的有效性，该方法能够实现对高动态场景中强弱目标的同时探测，具有很好的光强控制质量，对场景光强局部变化的适应性较强。关键词： DMD； 高动态场景； 光强； 调光； 探测中图分类号： TN27 文献标志码： A 文章编号： 1007-2276(2013)12-3402-08

High dynamic range imaging detection based on DMDand image sensor

Chen Huaizhang1,2, Wang Yanjie1,3, Sun Honghai1,3, Chen Chunning1,3, Fan Bo1,2

(1. Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China;

2. University of Chinese Academy of Sciences, Beijing 100049, China;

3. Key Laboratory of Airborne Optical Imaging and Measurement, Changchun 130033, China)

Abstract: Digital micromirror device (DMD) which is a spatial light modulator, combined with the imagesensor, is able to capture the high dynamic range image data and solve the problem of bright and darktarget detection. It can extend the optoelectric imaging device′ s dynamic range to 130 dB or moretheoretically. In order to implement the light intensity control at pixel level fast and get the high dynamicimage data of the real scene in high quality, a pixel level dimming algorithm, named adaptive spatial areamethod was proposed. This method based on the slowly change of adjacent pixels in non鄄edge region,was fast convergence and suitable for driving the DMD. The diming coefficient could be found after N/Itimes in the worst case. Then a platform, which was controlled by FPGA, was described in the paper,

收稿日期：2013-04-12； 修订日期：2013-05-14

基金项目：国家 863 计划基金 (2012AA7031010B)

作者简介：陈怀章 (1988-)，男，硕士生，主要从事实时图像处理方面的研究。 Email:294403707@qq.com

导师简介：王延杰 (1963-)，男，研究员，博士生导师 ，主要从事实时图像处理方面的研究。 Email:wyjciomp@gmail.com

第 42 卷第 12 期 红外与激光工程 2013 年 12 月

Vol.42 No.12 Infrared and Laser Engineering Dec.2013

第 12 期

and the timing analysis of the DMD driver was given below. At last, the method was tested on theplatform. The results show that the adaptive spatial area method is strong enough to complete the brightand dark target detection in high dynamic range scene. It has high quality in light intensity control andstrong adaptability in scenes that have light intensity change of parts.Key words: DMD; high dynamic range; light intensity; dimming; detecting

0 引 言

光电成像设备工作过程中， 经常需要探测的亮

目标与暗目标之间的光照强度之比一般在一百万以

上，若要对亮暗目标进行同时探测，通常要求成像设

备具有很大的动态范围。

运载火箭在发射阶段，由于火焰亮度高，造成光

电成像设备不能看清散落的物体或火箭本体， 对事

故无法正确诊断；在航天侦查、观测等领域，当星载

光电成像设备的指向与太阳夹角比较小时， 会造成

图像传感器的大面积饱和，形成日晕、Blooming 等现象，使光电成像设备失灵，一旦遇到视场内存在高亮

物体，或太阳的镜像反射等情况，都会造成光电成像

设备无法正常探测场景图像。考虑经济性、技术难度

以及适用范围，目前现存的很多技术手段 [1-3]仍然不

能满足很多高亮度目标实时成像观察测量的要求。

DMD(Digital Micromirror Device)器件由美国德州仪器(TI)公司生产，现国内外主要用于投影或仿真

系统 [4-5]。 DMD 数字微镜阵列由其本身存在的较高的光效率、高可靠性、精确的光强调节等级以及经济

性优势，使其具有很好的应用前景。 微镜阵列 DMD空间光调制器结合图像传感器能够解决高动态场景

中强弱目标同时探测的问题，获得高动态图像数据。

为了实现快速的像素级光强调节以及获得原始场景

高动态图像数据， 文中首先介绍了 DMD 的光强控制原理； 并根据实际场景成像其非边缘区域的相邻

像素值变化缓慢的特点， 提出了适合 DMD 驱动方式的像素级调光算法-自适应空间区域法，它具有较

快的收敛速度；考虑到算法的应用实现，结合实验系

统硬件平台对 DMD 驱动时序进行了分析研究 ；最

后对实验结果进行了分析总结， 表明自适应空间区

域法是一种可行的方法，具有很好的光强控制质量，

对场景光强局部变化的适应性较强。

1 高动态探测与光强控制

1.1 DMD 器件DMD 器件是一种被集成在寻址集成芯片上的

快速数字光开关反射阵列， 是由许多小型铝制反射

镜面构成的，镜片的多少由显示分辨率决定，通常包

含多达二百万个微镜。 通过电寻址，可以控制 DMD的每个微镜的旋转， 微镜的旋转角度有两种稳定的

镜片状态(+12°和-12°)。1.2 高动态探测原理

DMD 微镜阵列与图像传感器各像元一一对应。

如图 1 所示，目标光线进入成像物镜并将场景成像

(a) DMD 微镜与 CCD 像元对应示意图

(a) Figure of the relationship between DMD and CCD pixel

(b) 光路图

(b) Optical path

图 1 DMD 调光原理图

Fig.1 DMD dimming diagram

陈怀章等：DMD 结合图像传感器的高动态场景成像探测 3403

红外与激光工程 第 42 卷

到 DMD 光调制器上，当DMD 上的微反射镜处于开的状态时微透镜将成像物镜上的光反射到 CCD 成像探测器上，形成对应像素的亮态；当 DMD 上的微反射镜处于关的状态时， 入射到 DMD 上的光线被反射到非成像反射吸光装置内， 光线不能到达图像

传感器，从而形成对应像素的暗态。

根据探测器获得的图像去调整对应 DMD 上相应位置的微反射镜的开关状态以及开关时间以达到

调整像面局部区域光强的目的， 从而表现出对对应

的图像传感器像素点不同层次的光强控制 [6]。

如图 2 所示， 某时刻 DMD 的一帧母掩膜 M 对应于图像传感器 (CCD)采集的一帧图像 ，一帧母掩

膜 M 由 n 帧二进制子掩膜 mi 组成，每帧子掩膜的二

进制数据 1、0 分别代表 DMD 微镜的两态(ON/OFF)，每帧子掩膜 mi 有一个作用时间 ti，T 为母掩膜帧周期，等于图像传感器的帧周期。

图 2 DMD 掩膜

Fig.2 DMD masks

设 (x，y)为 DMD 上的像素点坐标 ，它与图像传

感器某像素点相对应 ， DMD 中 (x，y)处的光强控制权值 r(x，y)可表示为：

r(x，y)=n

i=1移pi(x，y)tii #/T，T= n

� i=1移ti (1)

式中：pi(x，y)为二进制子掩膜 mi 中坐标(x，y)处的二进制值。

通过调节光强控制权值 r(x，y)可以实现对对应的图像传感器像素点的光强控制， 提高光电成像设

备的可探测动态范围 。 例如当图像传感器为 CCD时， 其动态范围定义为 CCD 的满势井电荷 Imax 和最小噪声电荷 Imin 的倍数关系 ，DMD 的动态范围由最大与最小光强控制权值 rmax、rmin比值决定，有

DRCCD=20log ImaxImin

DRDMD=20log rmaxrmin

(2)

对于 DMD 结合 CCD 的成像系统动态范围为：

DRsys=20log ImaxrmaxIminrmin

(3)

由公式(1)可知 rmax为 1，若 rmin= 1256

，则 DMD 结

合 CCD 的成像系统的动态范围为 DRCCD+20log(256)=DRCCD+48.16 dB，与传统成像系统相比 ，系统的动态

范围提高非常明显。

1.3 DMD 光强控制算法研究微镜阵列 DMD 的像素级调光算法是为了

有效地调节 DMD 某一微镜两态(ON/OFF)时间的长短， 实现对对应的图像传感器像素点不同层次的光

强控制， 使饱和区域处的光强快速的调节至图像传

感器最佳响应区域。

对系统可调光强范围区间分配 N 个固定的调光权值 ri(i=1，…，N)，且有 0＜ri＜ri-1＜r1=1，i=2，…，N。如

图 3 所示为场景入射光强 、不同调光权值 ri 和图像

图 3 映射关系图，ri＜ri-1＜r1=1，i=2，…，N

Fig.3 Mapping relationship, ri＜ri-1＜r1=1，i=2，…，N

传感器响应之间的关系， 从图中可以看出不同光强

控制权值之间存在重合区域 (图中虚线所示)， 而随着 ri 的减小，即对入射光强衰减增大，系统对实际场

景光强的量化间隔增大， 而导致图像传感器器对入

射光强变化的敏感度降低，还原后的光强误差增大。

因此为了最有效地利用各调光权值， 减小光强还原

后的误差，调光的目标即为搜索光强控制权值 ri，让图像传感器对入射光强的响应处于图中 ri 的实线部

3404

第 12 期

分，即(Thi，Thsat)之间。 其中

Thi=ri-1Thsat/ri-ci i=2，…，N (4)式中：ci 用于消除临界点的敏感度。Thsat 为饱和阈值，

图像传感器中任何像素值大于 Thsat 将被认为此像素

饱和， 为了使图像传感器处于自身较敏感的响应区

段，Thsat 稍小于图像传感器的实际饱和值。 图像传感

器坐标(x，y)处像素值 E(x，y)可表示为：

E(x，y)=啄(x，y)L(x，y)r(x，y) (5)式中：L(x，y)为图像传感器(x，y)处所对应于实际场景的光强；r(x，y)为 DMD 对图像传感器 (x，y)处的光强控制权值函数；啄(x，y)为系统其他影响因素，由系统

本身决定，在此处可看作为常数。设当前像素点(x，y)处的光强控制权值为 ri，对光强控制的具体操作如下：

E≥Thsat→rnext=ri+驻Thsat＞E≥Thi→rnext=ri

E＜Thi→rnext=ri-驻 (6)达到光强控制目标范围的速度是由对光强控制

权值搜索的速度决定， 对光强控制权值的搜索速度

可由下式表示：

Num=f(rstart，L，驻) (7)式中：Num 为搜索步数；rstart 为初始光强控制权值 ；L为实际场景光强；驻 为调光权值的改变步长。 由于 L对图像传感器的实际作用值在饱和与未饱和之间变

化，因此 L 的具体范围是一个未知数，因此只有采用

试探搜索光强控制权值的方式使光强达到调制目标

范围内。 在 rstart、L 固定的情况下，驻 改变的方式决定着光强控制权值的搜索速度。

1.3.1 固定步长法固定步长法是 驻 取固定值， 此种方法下， 在某

些取值情况下甚至会出现 Num∝∞ 的情况， 此时调

光系统振荡 。 驻 大易使调光系统振荡 ，驻 小搜索费时，驻 取 1 时调光系统不会出现 Num∝∞ 的情况，但

是在最坏的情况下调光权值的搜索步数 Num 将取到最大值 N。 此种方法只适合于对调光速度要求不

高、场景光强变化小的静态场景调光。

1.3.2 自适应空间区域法在系统可调光强范围内， 某一个调制权值 ri 对

实际场景光强的理想作用范围是一个宽区间。 调制权

值 ri 能使实际场景入射光强 L 较宽区间在图像传感器上的响应处于对应的光强控制目标范围(Thi，Thsat)内，而在一幅图像中非边缘处相邻像素值相差不大，

因此，可设 L(Pi)为图像传感器上像素点 Pi 所对应的

实际场景光强 ，元素集 L (Pi) (i=1，2…，I)组成矩阵M，其中 Pi、Pi+1 为相邻像素点，R 为光强控制权值的集合，维数与矩阵 M 相同，其内元素为系统 N 个固定的调光权值中的 I(I≤N)个相邻 ri，则 I 个像素点在图像传感器上的响应为：

E=啄·M·R (8)由于 Pi、Pi+1 为相邻像素点， 若这些像素点为非

边缘处，则元素集 M 中的各元素值相差不大，当其值

分布于光强控制权值集合 R 的目标作用范围内 ，则

在矩阵 E 中最少有一元素处于光强控制目标范围(Thi，Thsat)内，R 中对应的 ri即为搜索目标。M中的元素个数过大，会使其元素值之间的差值过大，容易导致矩

阵 E 中无元素处于光强控制目标范围 (Thi，Thsat)内 ；

M 中的元素个数过小，会使光强控制权值集合 R 的目标作用范围减小，从而使对目标权值的搜索速度变缓。

在实际中使用中，取 4个相邻像素点，如图 4所示。

图 4 自适应空间区域法(4 个相邻像素点)

Fig.4 Adaptive spatial area method(4 adjacent pixels)

4 个相邻像素点分配 4 个连续的光强控制权值，算法实现过程如下：

(1) E中有元素处于饱和状态，则改变调光权值：

Rnext→ri+1 ri+2ri+3 ri+44 &

其中，ri=max(rstart(Pi))，rstart(Pi)为像素点 Pi 的当前调光

权值，并跳到(2)。E中无元素处于饱和状态则跳到(3)。(2) 非边缘区域：M 中各元素值相差不大 ，E 中

出现某元素处于调光目标区域 (Thi，Thsat)内 ，其对应

的调光权值为 rj，则改变调光权值：Rnext→rj rjrj rj4 &，并

跳到(1)。由边缘区域等因素引起 E 中未出现元素处于调

陈怀章等：DMD 结合图像传感器的高动态场景成像探测 3405

红外与激光工程 第 42 卷

光目标区域(Thi，Thsat)内，则直接回到(1)。(3) E 中有元素小于 Thi：由 E 和 R 估计 M 中的

元素区间，得到对应的 ri，更新矩阵 R 中的对应光强控制权值，并回到(1)。

若 E中没有元素小于 Thi，则直接回到(1)。在可调光范围内，最坏的情况下，经过 N/4(N/I)

次即可完成调光权值的搜索，收敛速度大大提高。

1.4 成像场景原始图像数据恢复根据图像传感器采集的图像数据 Esensor (x，y)和

与其对应时刻的 DMD 调光权值 r(x，y)可以恢复原始场景的图像数据。 恢复的图像数据为 P(x，y)：

P(x，y)=KEsensor(x，y)/r(x，y)+C (9)式中：K 为校正系数；C 为常量。

设 DMD 具有精确的光强控制等级， 即光强控

制权值 r(x，y)误差可不考虑 ，因此可视为通过图像

传感器采集的图像数据 Esensor (x，y)来恢复原始场景图像数据，则相对误差为：

啄P

P = dPP = K/r(x，y)

KEsensor(x，y)/r(x，y)+CdEsensor(x，y)=

1Esensor(x，y)+ C

K r(x，y)dEsensor(x，y) (10)

当 C=0 时，

啄P

P = dEsensor(x，y)Esensor(x，y)

=啄E sensor

Esensor(11)

即此时的相对误差由图像传感器的相对误差决定 。

Esensor 越大，则误差越小。因此光强控制应尽量使图像

传感器探测值接近 Thsat。

绝对误差为：

dP=dEsensor(x，y)K/r(x，y) (12)随着调光权值的减小，绝对误差增大。因此在光

强一定的情况下，尽量选取较大的调光权值，以减小

恢复图像数据的绝对误差。

2 高动态场景成像探测实验系统

2.1 硬件框图如图 5 所示， 该系统主要由图像探测器、FPGA、

DSP 和模拟偏置参考电源等组成。 以 FPGA 为时间同步控制驱动核心，在固定帧频下产生图像探测器需要

的驱动时序，同时产生相应的 DMD 触发控制信号，将

DSP 分析处理后产生的掩膜数据实时写入 DMD 器件中进行驱动控制。 DSP 将 DMD 掩膜数据和图像探测

器高动态成像数据进行采集融合处理 ， 最终由

CameraLink 图像数据接口输出高动态范围图像数据。

图 5 高动态场景成像探测实验系统框图

Fig.5 Block diagram for detection experimental in high dynamic

range scene

2.2 DMD 驱动考虑到算法应用要求， 对 DMD 驱动采用全局

复位方式，使所有微镜同时更新状态。在全局复位模式下， 所有的 DMD 微镜单元被

绑定为一个组，然后一起复位。 DMD 存储器被装载后给出一个全局复位信号使微镜偏向所需要状态 。如图 6、图 7 所示 ，微镜 Reset 操作的执行开始于按照规定对 dmd_block_mode(1:0)和 dmd_block_ad(3:0)进行赋值，在很短的时间过后，DDC4100 将通过使反馈给 FPGA 的信号 RST_ACTIVE 变高并持续 4.5 滋s来标示 DMD 正在进行复位。在复位信号过后的 8 滋s时间内 ， 属于 Mirror Settling Time。 在这段时间内DMD微镜下的存储器内数据不能改变，Mirror SettlingTime 过后才能进行数据加载。

Reset 结束到下一个 Reset 结束为显示时间。 主控 FPGA 加载一帧数据以行为单位，16 个时钟周期(32 个时钟边沿)加载一行 1 024 位数据。 全局复位模式下，对于 1024×768 规格的 DMD加载一帧时间为：

Tf=TCLK×每行时钟数×总行数在 400 MHz 的 DMD 时钟条件下， 可得全局复

位模式下的加载一帧时间为：0.002 5 滋s×16×768＝30.72 滋s

考虑 Mirror Settling Time 以及传输延迟 ， 在时钟频率为 400 MHz、DMD 模式为全局复位的情况下，一帧二进制帧的最短时间为 43.22 滋s。 支持的最大 8 阶灰度等级的调制帧频为：

1÷(28×43.22×10-6)=90.4 fps

3406

第 12 期

3 实 验

在此实验系统中，DMD 选取 0.7 XGA ，其最小

调光权值设为 1/256, 选取 8 位的 CCD 图像成像传感器，其他具体参数设置如表 1 所示。

其中 T 为 DMD 二进制子掩膜的作用时间基数，

ti、ri的取值方式可以让一帧母掩内的某个像素最多只在某一帧子掩膜上发生像素值的改变， 即 DMD 阵列某个微镜在一帧母掩膜内最多发生一次翻转，从而减

小了微镜摆动次数， 使其摆动所带来的影响降到最

低。 由公式(3)可知此系统的动态范围为96.30 dB。

表 1 基本参数

Tab.1 Basic parametersi ti

1 128T

2 64T

ri

1

1/2

Thi

0

110

Thsat

254

T/滋s

78.125

CCD/fps

50

3 32T 1/4 110

4 16T 1/8 110

5 8T 1/16 110

6 4T 1/32 110

7 2T 1/64 110

8 1T 1/128 110

9 1T 1/256 110

图 6 DMD 相邻子掩膜时序图

Fig.6 Timing diagram of DMD adjacent sub鄄mask

图 7 一帧二进制子掩膜的放大时序图

Fig.7 Enlarge timing diagram for binary sub鄄mask

陈怀章等：DMD 结合图像传感器的高动态场景成像探测 3407

红外与激光工程 第 42 卷

实验结果如图 8 所示。

(a) 无调光情况下

(a) Without dimming

(b) DMD 光强控制后 CCD 成像

(b) CCD imaging after DMD light intensity control

(c) 恢复后的高动态图，16 bit 显示

(c) Restored high dynamic image, 16 bit display

(d) 低八位显示 (e) 有效图像数据的高八位显示

(d) Low 8 bit display (e) High 8 bit display of valid data

图 8 光强控制实验

Fig.8 Light intensity modulation experiments

(1) 在无调光情况下 (图 (a))，CCD 采集到的图像出现局部饱和，其对应的灰度直方图可以看出，有

大量的像素点落在 CCD 的饱和灰度值(255)附近；

(2) 采用自适应空间区域法进行光强控制，图(b)是调光过后 CCD 采集到的图像，其对应的灰度直方

图中 CCD 的饱和灰度值 (255)附近的像素个数显著减少，绝大多数的像素点其值处于 100~250 之间，并

且在像素值 110 左右像素点的个数出现跳变， 表明

将高亮度区域的像素值调节到了目标范围内。图(b)中CCD 采集到的图像在某些区域存在明显的亮暗跳变， 这是由于跳变处的光强值处于相邻调光权值的

临界点处；

(3) 采用公式 (10)对图像进行数据恢复 ，16 位显示，如图(c)所示，由于其灰度直方图分布范围为 0~4 000，其中大量像素点的值处于 1 800 左右，因此采

用 16 位显示是一幅基本全黑的图像。 在像素值超过

2 000 以后，调光权值变小(小于 1/16),对光强的量化间隔增大，灰度直方图出现明显的稀疏；

(4) 图(d)是对恢复后的图像 (图 (c))采用低 8 位显示 ，与图 (a)相比 ，恢复的图像数据较好的保留了

弱光区域的图像信息；

(5) 图 (e)是对恢复后的图像 (图 (c))的有效数据采用高 8 位显示 ，与图 (a)相比 ，恢复的图像数据极

大极大丰富了由于 CCD 动态范围不足，强光成像中

局部信息饱和丢失的部分，具有很好的成像质量。

4 结 论

文中采用 DMD 微镜阵列来实现像素级高动态范围调光， 以适合 DMD 驱动方式的自适应空间区域法作为其像素级高动态范围调光算法， 实现了光

电成像设备的强弱目标同时探测的问题， 且具有很

好的成像效果， 提高了光电成像设备的可探测动态

范围。通过实验分析，DMD 工作在全局复位、母掩膜

10 fps 情况下，其最小调光权值可小到 1/2 048，对光电成像设备的动态范围可提高 60 dB 左右。 若光电

成像设备采用 12 位高灵敏高动态科学级图像传感器，则系统动态范围可达 130 dB 以上。 DMD 因其调光原理使其具有其他一般高动态范围场景观测手段

所不具有的优势 [7]，具有很好的应用前景。

参考文献：

[1] Nayar S K, Mitsunaga T. High dynamic range imaging:

spatially varying pixel exposures [C]//Proc of IEEE Conf on

Computer Vision and Pattern Recognition, 2000, 1: 472 -

479.

[2] Nayar S K, Branzoi V. Adaptive dynamic range imaging:

optical control of pixel exposures over space and time [C]//

Proc of International Conference on Computer Vision

(ICCV), 2003: 1168-1175.

3408

第 12 期

[3] Guan Che, Wang Yanjie. Real time auto light control system

of CCD camera[J]. Optics and Precision Engineering, 2008,

16(2): 358-366. (in Chinese)

关澈 , 王延杰 . CCD 相机实时自动调光系统 [J]. 光学 精

密工程 , 2008, 16(2): 358-366.

[4] Guan Yingzi, Yang Liang. Optical system design of dynamic

infrared scene projector based on DMD [J]. Infrared and

Laser Engineering, 2011, 40(2): 245-248. (in Chinese)

关英姿 ， 杨亮 . 数字微镜阵列动态红外景象投射器光学系

统设计[J]. 红外与激光工程 , 2011, 40(2): 245-248.

[5] Dang Dongni, Ji Yiqun, Shen Weimin. Projection lens design

of wide band dynamic infrared scene simulator with digital

micromirror device [J]. Infrared and Laser Engineering,

2012, 41(4): 1017-1021. (in Chinese)

党东妮 , 季轶群 , 沈为民 . 宽波段 DMD 动态红外景象仿真

器投影光学系统设计 [J]. 红外与激光工程 , 2012, 41(4):

1017-1021.

[6] Xu Zhengping, Shen Honghai, Huang Houtian, et al. Color

control of video displaying system based on single DMD[J].

Infrared and Laser Engineering , 2013, 42(7): 1848-1852.

(in Chinese)

徐正平 , 沈宏海 , 黄厚田 , 等 . 单 DMD 彩色视频显示系统

的颜色控制[J]. 红外与激光工程 , 2013, 42(7): 1848-1852.

[7] Nayar S K, Branzoi V, Boult T E. Programmable imaging

using a digital micromirror array [C]//Proc CVPR, 2004, 1 :

436-443.

陈怀章等：DMD 结合图像传感器的高动态场景成像探测 3409