多媒体搜索引擎drivehq.ppt

Multimedia Search Engine 多媒体搜索引擎 多媒体文档内容理解技术(2) 特征 何为特征？ In pattern recognition, features are the individual measurable heuristic properties of the phenomena being observed. In computer vision and image processing the concept of feature is used to denote a piece of information which is relevant for solving the computational task related to a certain application. 特征 何为特征？ 特征：实体（或事物、概念……）区别于其它实体（事物、概念……）的独特的属性 特征 特征的属性 独特性 目标实体和非目标实体有不同的取值范围 ?确定性特征，概率性特征 可计算性 以可接受的代价从目标实体采集数据并计算出来 ?特征的成本 ?特征的质量（噪声） 特征 特征组的属性 完备性 可以完全区分目标实体和非目标实体 必要性 对区分目标实体和非目标实体是否必要 独立性 特征之间是否相关 特征 特征的种类（应用意义上） 多媒体特征（视觉、听觉特征） 颜色、纹理、形状…… 频率、节奏…… 文字/关键字特征 字频、词频…… 元数据特征 目录名、链接、链接文字、日期…… 特征提取 何为特征提取？ 从原始数据计算出特征的数值（或模型） 特征提取须考虑的问题 可计算性 特征提取时，数据采集往往已经完成，特征提取不具备采用不同数据采集手段的灵活性 成本 计算复杂度，吞吐率，延迟，人力开销…… 噪声 很多多媒体特征提取准确率低 特征提取 像素特征 直接用像素的颜色值表示特征 实现简单 信息质量差 仅包含单个像素的信息 同时包含需要的信息和不需要的噪声 难以表示全局信息 后续分类和处理困难 特征提取 颜色特征 颜色是人眼非常敏感的特征 如何提取和表示颜色特征？ 平均颜色 把所有像素的颜色值当作矢量，计算所有像素的颜色矢量的算术平均 特征提取 颜色特征 颜色矩 如果把像素看成随机变量，则其分布特性可以由矩来描述 一阶矩(均值)： 二阶中心矩(标准差): 三阶中心矩: 维数低，易于计算 信息量少，对噪声敏感 特征提取 颜色特征 颜色直方图 直方图：概率密度函数 颜色：三维?如何统计直方图？ 方法1：三维颜色直方图 直方图的每个槽对应一组（R,G,B）矢量值 RGB均0~255?直方图有256*256*256=16M个槽 ?图像像素数：704*576=405K, 1920*1080=2M ?统计直方图需要使用较粗的量化 一般量化成16级 ?16*16*16=4096个槽 维数仍然很高 特征提取 颜色特征 颜色直方图 方法2：三个一维直方图 对R、G、B三个颜色分别统计一个直方图 不进一步量化：256+256+256=768维 每种颜色量化成16级：16+16+16=48维 优点：维数大大降低 缺点：颜色之间的相关信息丢失 在较独立的颜色空间统计（如：YUV，HSI） 亮度统计一维直方图，色度统计二维直方图 直方图的维数仍然较高 特征提取 颜色特征 聚类颜色直方图 普通颜色直方图不管图像本身的颜色分布，整个颜色空间的所有颜色都是直方图的槽 维数高 必须覆盖整个颜色空间 精度差 对颜色空间的机械分割 为了在合理的维数内实现，颜色空间的划分很粗 ?利用图像本身的像素进行聚类，用聚类中心作为直方图的槽 不同图像的直方图各维没有统一的物理含义 特征提取 纹理特征 纹理：临近像素的变化趋势和模式 一定尺度内的一种分布模式 可以是固定的模式：如砖墙 可以是概率的模式：如草地 与像素的绝对颜色/亮度关系较小 与颜色/亮度差异关系大 特征提取 纹理特征 灰度共生矩阵 两个有固定空间关系的像素的联合概率密度函数 特征提取 纹理特征 灰度共生矩阵 超高的维数 空间关系有很多个 每个空间关系有一个二维直方图 ?在这些二维直方图上作“二次统计”以降低维数 角二阶矩（能量）、对比度（惯性矩）、相关、熵、逆差矩等 与人类视觉对纹理的心理感知不同 特征提取 纹理特征 Tamura 纹理特征 依据心理视觉特性定义的纹理特征 计算准确率较差，信息量较少 特征提取 纹理特征 频率域的纹理特征 纹理是“变化趋势和模式” 在某个频率上有突出的特征 ?利用频率变换表示纹理特征 小波纹理特征 对图像作小波变换 计算小波的一阶矩和二阶矩作为纹理特征 特征提取 纹理特征 频率域的纹理特征 局部傅立叶变换纹理特征 在局部邻域(3x3, 4x4, 5x5…