多元统计分析多元统计分析 (41).ppt

应用多元统计分析 第七章、主成分分析第4讲、样本的主成分 在实际问题中,一般协差阵Σ未知,需要通过样本来估计.设X(t)=(xt1,…,xtp)′(t=1, …,n)为来自总体X的样本,记样本资料阵x11,x12 ,…,x1px21,x22 ,…,x2p…………………..xn1,xn2 ,…,xnpX=记样本协差阵为S,样本相关阵为R,并用S作为 Σ的估计或用R作为总体相关阵的估计. ?一、样本主成分及其性质 将第t个样品X(t) =(xt1,…, xtp)′的值代入Zi得样品t的第i个主成分得分 zti =ai'X(t) (i=1,…,p).记Z(t) = (zt1, zt2 ,…, ztp)′ (t=1,…,n) = (a1'X(t) ,a2'X(t) ,…,ap'X(t) ) ′ = A'X(t) 称Z(t) 为第t个样品的主成分得分向量. 令样品号原始变量样本主成分 样本主成分得分阵Z和原始数据阵X有如下关系Z =Z(1) 'Z(2) '...Z(n) 'X(1) 'AX(2) 'A...X(n)'A= X ? A=或 X = ZA' , 其中 Z(t) =A'X(t) ( t=1,2,…,n )样本主成分得分具有如下一些性质.(n×p)(n×p)(p×p) ? 记正交阵A= (a1 … ap) ，则有 A'RA=diag(λ1,λ2 ,…,λp)又知 Z=XA，则 SZ = Z'Z/(n-1)=A'X'XA /(n-1) = A'RA=diag(λ1,λ2 ,…,λp) =Λ ? Z'Z= (n-1)Λ zi 'zi=(n-1) λi (i=1,2,…,p) zi'zj=0 (当i≠j 时 )上式说明样本主成分得分的样本均值为0,样本协差阵为对角阵.当i≠j 时，第i个主成分得分向量zi与第j个主成分得分向量zj是相互正交的. 因 A'RA=diag(λ1,λ2 ,…,λp) 称λk /p为样本主成分Zk的贡献率;又称 fm=[λ1+…+λm]/p为样本主成分Z1,…,Zm (m<p)的累计贡献率. (3)样本主成分具有使残差平方和最小的优良性 如果我们只取前m个主成分(m<p),并考虑用前m 个主成分Z1,…, Zm的线性组合表示Xj的回归方程 Xj=bj1Z1+…+ bjmZm+? j (j=1,…,p) （*） 则当bjk=ajk(k=1,…,m)时，可使回归方程的残差平方和达最小值. 二、主成分的个数及解释 主成分分析的目的之一是简化数据结构,用尽可能少的主成分Z1,…, Zm(m<p)代替原来的p个变量,这样就把p个变量的n次观测数据简化为m个主成分的得分数据.在这里要求： ① m个主成分所反映的信息与原来p个变量提供的信息差不多; ② m个主成分又能对资料所具有的意义进行解释. ? 小结掌握：1、样本主成分2、样本主成分的性质