多元统计分析多元统计分析 (31).ppt

应用多元统计分析 第六章、聚类分析第3讲、定量变量样品间的距离 描述样品间的亲疏程度最常用的是距离. n个样品看成m维空间中的n个点,用dij表示样品X(i)和X(j) 之间的距离,一般要求： ① dij ≥0,对一切i,j ; 当dij =0 <==>X(i) = X(j) ； ② dij = dji ,对一切i,j; ③ dij ≤ dik+ dkj,对一切i,j,k(三角不等式).X(k)X(i)X(j) 对n个样品计算两两间的距离dij后,可排成矩阵D d11 d12 …. d1n d21 d22 …. d2n D = ………………. dn1 dn2 …. dnnn×ndij 值越小,表示两个样品越接近, dij值越大,表示两个样品越不相近. 1. 闵科夫斯基(Minkowski)距离当q=1时的一阶Minkowski度量就称为绝对值距离. 当q=∞时的Minkowski度量称为切比雪夫距离 . 当q=2时的二阶Minkowski度量称为欧氏距离.欧氏距离是聚类分析中用得最广泛的距离. 缺点:(1) 与各变量的量纲有关; (2) 没有考虑指标间的相关性; (3) 没有考虑各变量方差的不同.如欧氏距离,方差大的变量在距离中的作用(贡献)就会大,这是不合适的. 合理的方法就是对各变量加权,如用1/s2 作为权数可得出“统计距离”: 2. 兰氏距离(要求xij>0) 这是由Lance和Williams最早提出的,故称为兰氏距离.这是一个无量纲的量.克服了闵氏距离与各指标的量纲有关的缺点.且兰氏距离对大的奇异值不敏感,这样使得它特别适合高度偏倚的数据. 但兰氏距离也没有考虑变量间的相关性. 3. 马氏距离(Mahalanobis) 马氏距离既排除了变量间相关性的干扰,而且还不受各项指标量纲的影响.另马氏距离对线性变换具有不变性. 马氏距离虽然可以排除变量之间相关性的干扰,并且不受量纲的影响,但是在聚类分析处理之前,如果用全部数据计算均值和协差阵来求马氏距离,效果不是很好. 比较合理的办法是用各个类的样本来计算各自的协差阵,同一类样品间的马氏距离应当用这一类的协差阵来计算,但类的形成都要依赖于样品间的距离,而样品间合理的马氏距离又依赖于类,这就形成了一个恶性循环,因此在实际聚类分析中,马氏距离也不是理想的距离. 4. 斜交空间距离 在m维空间中,为使具有相关性变量的谱系结构不发生变形,采用斜交空间距离,即在数据标准化处理下,rkl为变量Xk和Xl之间的相关系数 小结定量变量样品间的距离1. 闵科夫斯基(Minkowski)距离2. 兰氏距离4. 斜交空间距离 3. 马氏距离