基于稀疏表示的图像融合.pptx

基于稀疏表示的图像融合哈尔滨工程大学 计算机学院2016.11.12研究背景及意义传统的图像融合方法图像的稀疏表示理论一种基于字典学习的图像融合总结一 研究背景和意义1 图像融合的定义 信息融合技术是指利用计算机技术，对按时序获得的若干传感器的观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和估计任务而进行的信息处理过程。 图像融合作为多源信息融合的一个重要的分支，是综合了图像处理、计算机视觉和模式识别等多学科的处理技术。其主要思想是将不同模式下的同一场景的图像信息，通过合适的融合规则，获得更为精确、全面、可靠的图像表达。2 图像融合主要应用1）多聚焦图像融合 因为成像系统有限的聚焦范围，因此在同一幅图像中，往往会出现除聚焦良好的物体外，距离该物体前后的所有目标都会不同程度的呈现出模糊。源图像A源图像B融合后的图像C2）多传感器图像融合 在医学领域，CT能够扫描出骨骼致密的结构，有良好的视觉效果，但对软组织分辨率不高。MRI对软组织能够提供详细的信息，分辨力较高，但是对致密结构的分辨率低。那么，如果能把CT图像与MR图像进行融合，就能够提供更加全面的、更加准确的医学影像信息。CT图像MRI图像融合后的图像3）时间序列图像融合 在交通领域，数据和图像的融合对于交通安全监控起着重要的作用。由于受到环境条件以及检测器的固有特性等因素的限制，如果只利用单个类型的检测器进行图像信息的采集，获得的数据往往并不完善。通过多层次的处理数据和图像融合技术，获得的信息会更加丰富，更加准确。4）遥感多源图像融合 在遥感领域中，三个传感器提供的颜色信息包括红色、绿色和蓝色光谱波长，这些传感器仅具有少量的像素，并且小的目标物和细节是被隐藏的，这些小的目标物和细节能够采用不同的传感器来观察得到，这类传感器具有大量的像素但是不具有颜色信息，然而通过融合技术可以实现同时具有高空间分辨率和颜色信息的独特的图像，也就是遥感图像的融合技术。二 传统的图像融合方法 目前的图像融合技术大致可以分为两大类：基于空间域的图像融合和基于变换域的图像融合。 1）基于空间域的图像融合是直接在图像的像素灰度上进行融合，融合成灰度值。包括最大值/最小值选取、加权平均、基于统计的图像融合以及基于神经网络的图像融合。 2）基于变换域的图像融合是对待融合的源图像进行图像变换，然后对变换后的系数应用一定的融合规则进行融合，包括IHS变换、PCA变换以及小波变换等。 在许多的算法中，这两种方法是相互结合的。目前，基于变换域的图像融合方法是研究的热点。1 基于IHS变换的图像融合 IHS变换（强度-色度-饱和度变换）是把具有红，绿，蓝通道的多光谱图像或者全色图像变换到强度，色度和饱和度三个独立分量。 强度I分量是亮度的测量，0表示黑色（没有亮度），1表示白色（全亮）。 色度H是颜色，饱和度S是颜色的数量，0表示灰色（没有颜色），1表示全色。以亮度I，色度H，饱和度S作为彩色图像的三个属性具有两个基本优点： 1）能够从标准的RGB图像中有效的分离出空间信息（I）和光谱信息（H,S）。 2）H分量和S分量的处理方式与人眼感受色彩方式接近。 以全色图像和多光谱图像融合为例，来给出基于IHS变换的图像融合步骤： 1）将全色图像与多光谱图像进行配准和重采样，使多光谱图像与全色图像具有相同的像元分辨率和空间几何位置，然后将多光谱图像的三个波段映射到RGB空间，然后进行IHS变换，得到相应的强度I,色度H和饱和度S三个分量。 RGB到HIS变换公式如下所示： 2）将全色图像与多光谱图像经过IHS变换后得到的I分量经过直方图匹配，用全色图像代替I分量，得到新的I分量。 3）用得到的新的I分量代替多光谱图像的I分量，并和多光谱图像的H分量，S分量一起进行IHS逆变换，最后得到融合结果图像。 IHS到RGB的逆变换公式如下所示：IHS变换的不足：1）该融合算法要求替代I分量的图像与I分量之间有较大的相关性。但是在许多的实际场合，这种要求并不能得到满足，如果二者的相关性很低，则很难得到理想的融合效果。2）扭曲了源图像的光谱特性，产生了光谱退化的现象。2 基于小波变换的图像融合 由于小波变换具有良好的时域和频域特性，可以将输入图像变换为一系列不同方向以及不同分辨率的子带图。此类子带图往往可以分为高频子带图和低频子带图。 一般来说，小波变换得到的高频子带图表示了原始图像中的细节信息，如边缘、纹理和突变等；低频子带图往往反映了图像中的近似信息，如轮廓区域等。因此可以根据小波变换后得到的图像的不同性质，采取不同的融合规则对其进行融合，从而最后得到的融合图像中将会体现原始图像在不同频率域下的不同特征。 小波变换具体融合过程如下： 1）利用小波变换将多个待融合图像进行变换，从而获得原始图像的高频子带分量和低频子带分