人机交互：第4章 人机交互技术--3.ppt

第4章 人机主要交互技术(新一代人机交互技术) 人行为识别与理解是指对人的行为模式进行分析和识别，并用自然语言等加以描述. 这种技术包含从视频序列中抽取相关的视觉信息、用一种合适的方法进行表达，然后解释这些视觉信息,从而实现识别人的行为。 人体行为识别 人体行为识别种类 头部运动 手势识别 手语识别 体势识别 下肢运动 人体行为识别的意义 1. 感知接口（Perceptual Interface） 基于视觉的形体语言作为语音和自然语言理解的有效补充来完成更加智能的人机交互。对于机场等高噪声的场合，基于视觉的高级用户接口能够提供比语音识别更加准确的信息输入。 2. 智能监控（Smart Surveillance） 实时主动的监控, 而不是察看已经发生犯罪事实记录，从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入. 3. 运动分析（Motion Analysis） 建立人体几何模型、解释人体的运动行为机制,从而提高运动性能, 可应用于体育运动、舞蹈等训练中,也应用于医学康复. 4. 虚拟现实（Virtual Reality） 电脑游戏中人的形体、运动和行为交互的设计逼真性实际得益于物理空间中人的运动分析，虚拟环境中人体运动建模如关节运动机制等. 人体行为识别类型 静态人体行为识别系统: 指姿态,单幅图像 动态人体行为识别系统: 指动作,由一系列姿态组成 检测定位 行为识别 特征提取 输入图象 识别结果 静态人体行为识别系统 输入图像中是否有人或所关心部位? 什么特征能够用来有效地表示行为？ 如何进行行为分类？ 静态人体行为识别系统 其方法与人脸识别和面部表情识别一样,包括总体的检测与定位,特征提取,识别方法等. 只是具体特征等不一样. 人的运动图像序列进行分析处理，涉及到运动检测、目标分类、人的跟踪及行为理解与描述。 运动检测、目标分类、人的跟踪属于视觉中的低级和中级处理部分（Low-level and Intermediate-level Vision）. 行为理解和描述则属于高级处理（High-level Vision） 动态人体行为识别的过程 运动检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作 1）背景减除（Background Subtraction） 2）时间差分（Temporal Difference） 3）光流（Optical Flow） 目标分类 运动目标中人的检测, 从检测到的运动区域中将对应于人的运动区域提取出来。 不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉的序列图像中可能包含行人、车辆及其它诸如飞鸟、流云、摇动的树枝等运动物体，为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是完全必要的。 这个步骤在一些情况下可能是不必要的（比如已经知道场景中仅仅存在人的运动时）。 目标分类方法 1）基于形状信息的分类（Shape-based Classification） 用区域的分散度、面积、宽高比, 区分人车及混乱扰动,人体轮廓模式的形状参数从图像中检测运动的人 2）基于运动特性的分类（Motion-based Classification） 人体运动的周期性进行目标分类,计算运动区域的残余光流来分析运动实体的刚性和周期性，非刚性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流，同时它也呈现了周期性的运动特征，据此可以将人区分出来 人的跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题. 常用的数学工具有卡尔曼滤波（Kalman Filtering）、Condensation算法及动态贝叶斯网络（Dynamic Bayesian Network）等。Kalman滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式（Multi-mode）的分布情况；Condensation算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。 跟踪分类 就跟踪对象而言，有跟踪如手、脸、头、腿等身体部分与跟踪整个人体的； 就跟踪视角而言，有对应于单摄像机的单一视角、对应于多摄像机的多视角和全方位视角； 还可以通过跟踪空间（二维或三维）、跟踪环境（室内或户外）、跟踪人数（单人、多人、人群）、摄像机状态（运动或固定）等方