基于Camshift及卡尔曼滤波人脸跟踪.pptx

基于Camshift和卡尔曼滤波的人脸跟踪 徐源 杨思豪 Ｃｏｎｔｅｎｔ 1 概念简介 2 CamShift跟踪算法 3 卡尔曼滤波 4 实验结果 人脸检测和跟踪 概念简介 人脸跟踪是人脸识别技术的一项应用，是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，它是进行动态人脸信息处理的第一个环节，在视频会议、视频监控、人机智能交互等方面都有着重要的应用价值。由于人脸本身属于复杂多变的非刚体模式，在运动过程中，其大小、形状都会发生变化，因此实现实时而可靠的人脸跟踪方法具有一定挑战性。 背景噪声，目标外观变化、运动， 实时性，鲁棒性，遮挡 针对CamShift算法进行人脸跟踪中出现的遮挡问题，提出了一种CamShift算法结合卡尔曼滤波的人脸跟踪方法，使用卡尔曼滤波对跟踪过程中人脸目标运动速度和空间位置进行预测。 人脸检测和跟踪 概念简介 人脸检测算法经过不断发展，有二进小波变换的人脸检测，基于AdaBoost算法的人脸检测以及基于Haar-like特征、级联结构的AdaBoost算法，成功应用于模式识别领域，实现了实时人脸检测，使人脸检测技术取得了突破性进展。 初始跟踪时，第一帧人脸检测利用Matlab计算机视觉工具箱自带的vision.CascadeObjectDetector()函数（训练级联分类器）。 Camshift算法简介 CamShift是MeanShift算法的改进，称为连续自适应的MeanShift算法，它的基本思想是视频图像序列的所有帧作MeanShift运算，并在上一帧处理后，得出搜索窗的质心，并让它作为下一帧图片处理的搜索窗的初始值，如此迭代下去。 MeanShift算法的思想很简单：利用概率密度的梯度爬升来寻找局部最优。 1.初始化：将输入图像变换到HSV空间，计算基于HS分量的颜色直方图 2.跟踪：将新图像变换到HSV空间，计算目标直方图的反向投影，相当于关于目标位置的概率分布图 3.迭代：通过迭代的方式不断收敛到目标概率最大位置，即为跟踪结果 卡尔曼滤波 卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。而且由于观测包含系统的噪声和干扰的影响，所以最优估计也可看做是滤波过程。 卡尔曼滤波器的核心内容就是5条公式，计算简单快速，适合用于少量数据的预测和估计。 人脸跟踪实现过程 CamShift跟踪算法流程图 那么卡尔曼滤波器在其中 扮演什么角色呢？ 卡尔曼滤波能够在跟踪中预测运动目标参数，从而准确地估计运动目标位置区域。 实验结果与分析 为了验证算法的有效性，采用两种方案基于CamShift算法人脸跟踪实验以及CamShift算法结合卡尔曼滤波人脸跟踪实验。使用室内行人行走视频进行跟踪实验(个人PC机，运行环境Windows7，Matlab R2013a，内存4G，主频2.50Ghz)。初始跟踪时，第一帧人脸检测利用Matlab计算机视觉工具箱自带的vision.CascadeObjectDetector()函数，利用CamShift算法结合卡尔曼滤波进行人脸跟踪，实验结果下所示。 CamShift算法人脸跟踪实验结果与分析 CamShift算法跟踪效果(从左至右分别为视频中第25, 56, 90, 115,160帧) 从图中可以看出，第25帧和第56帧跟踪效果良好，能对行走中人的脸部实现有效跟踪；在第90帧和第115帧时，由于目标人脸被遮挡，跟踪窗口逐渐向干扰目标方向移动，导致目标人脸跟踪失败；在第160帧时，由于目标人脸遮挡消失，CamShift算法又能对人脸进行正确追踪。由此可见，CamShift算法能够很好的对人脸进行实时跟踪，但当人脸受到遮挡后，它不能预测出相应的人脸目标信息，导致人脸跟踪失败。 CamShift算法结合卡尔曼滤波人脸跟踪实验与结果分析 CamShift算法结合卡尔曼滤波跟踪效果(从左到右分别为第30, 65, 98, 121,167帧) 从图中可以看出，第30帧和第65帧跟踪效果良好，能对行走中的人脸实现有效跟踪；在第98帧和第121帧时，虽然有遮挡影响，但跟踪窗口始终紧紧跟随人脸目标，跟踪效果良好；在第167帧，人脸遮挡消失后，CamShift算法结合卡尔曼滤波算法也能对人脸进行正确追踪。综上对比分析表明，卡尔曼滤波器能够预测目标的运动参数，并且能将预测的目标空间位置参数传递给候选目标初始搜索过程，提高了人脸跟踪性能，因此，本文提出的方法有效地提高了目标跟踪的鲁棒性。 不足 （1）读取的视频格式单一，且有的视频文件播放正常，但到MATLAB上播放十分缓慢，这是转换过程中把帧率设的慢了，需要重新转换。 （2）卡尔曼滤波中的过程噪声矩阵与观测噪声矩阵选取问题。 （3）人脸检测的实际环境也相对复杂，受到背景、位