多元统计分析多元统计分析 (39).ppt

应用多元统计分析 第七章、主成分分析第2讲、主成分的求法 设p维随机向量X的均值E(X)=0,协差阵D(X)=Σ＞0.由定义7.1.1,求第一主成分Z1= a1'X的问题就是求a1=(a11,a21,…,ap1)′,使得在a1'a1=1下,Var(Z1)达最大. 这是条件极值问题,用拉格朗日乘数法.令 φ(a1)=Var(a1'X)-λ(a1'a1-1) = a1'Σa1-λ(a1'Ipa1-1),由(7.1.4) 因a1≠0,故|Σ-λI|=0,求解(7.1.4),其实就是求Σ的特征值和特征向量问题.设λ=λ1是Σ的最大特征值,则相应的单位特征向量a1即为所求. 一般地,求X的第i主成分就是求Σ的第i大特征值对应的单位特征向量. 定理7.1.1 设X=(X1,…,Xp)′是p维随机向量,且D(X)=Σ,Σ的特征值λ1≥λ2≥…≥λp ，a1,a2,…,ap为相应的单位正交特征向量,则X的第i主成分为 Zi= ai'X (i=1,2,…,p).为了证明此定理，我们先回顾下附录中的定理7.2 定理7.2 设B是p阶对称阵,λi=chi(B)是B的第i大的特征值，li 是相应于λi的B的标准化特征向量(i＝1,…,p), x为任一非零p维向量，那么有右边不等式的等号当x=cl1时成立，左边不等式的等号当x=clp时成立，这里c是非零常数. (2)记L2=L (lr+1,…,lp ),即L2是由lr+1,…,lp 张成的空间,则 且当x=clr+1 时达到最大值，这里c非零常数.L2 定理7.1.1证明 因Σ为对称阵，利用附录中定理7.2的结论(1),可知对任意非零向量a有且最大值在a=a1时达到.故在a1'a1 =1的约束条件下,使得达极大值. 根据主成分的定义7.1.1,Z1= a1' X为X的第一主成分. 对r=2,3,…,p,记Lr＝L (ar,…,ap),利用附录中的定理7.2的结论(2)即得. 且最大值在a=ar时达到.故在ar'ar =1的约束条件下, ar 满足且使得达极大值. 根据主成分的定义7.1.1,Zr= ar' X为X的第r主成分. (证毕)Lr 推论： 设Z=(Z1, Z2 ,…, Z p )′为p维随机向量，则其分量Zi (i=1,2,…, p) 依次是X的第i主成分的充分必要条件是： ① Z=A'X，A为正交阵； ② D(Z)=diag(λ1 , λ2 , … , λp )，即随机向量Z的协差阵为对角阵； ③ λ1≥λ2≥…≥λp ≥0 .