多元统计分析多元统计分析 (40).ppt

应用多元统计分析 第七章、主成分分析第3讲、主成分的性质 记Σ=(σij),Λ=diag(λ1,λ2,…,λp), 其中λ1≥λ2≥…≥λp为Σ的特征值, a1,a2,…,ap是相应的单位正交特征向量.主成分向量Z = (Z1,…,Zp)′, 其中 Zi=ai'X (i=1,2,…,p)总体主成分有如下性质: (1) D(Z)=Λ,即p个主成分的方差为：  Var(Zi)=λi ,且它们是互不相关 一、主成分的性质 通常称 为原总体X的总方差,该性质说明原总体X的总方差可分解为不相关的主成分的方差和.(2) 即p个原变量所提供的总信息(总方差)的绝大部分只须用前m个主成分来代替。这说明若前几个主成分集中了大部分信息，则后几个主成分的方差都很小，包含的信息也很少. 在实际应用时就可用前面较少的几个主成分来代替原p个变量来描述数据的变化.且存在 证明 : Var(Xi) =σii Var(Zk) = λk (ei是第i个元素为1,其余为0的单位向量) Cov( Xi ,Zk )=Cov(ei'X, ak' X)) = ei'Σ ak = ei' (λk ak ) = λk aik (3)主成分Zk与原始变量Xi的相关系数 常把主成分Zk与原始变量Xi的相关系数称为因子负荷量(或因子载荷量). 如果把主成分与原始变量的相关系数列成表7.1的形式，则由相关系数的公式，还可得出性质(4)和(5).7.1 主成分和原始变量的相关系数 事实上,由 故有 因Zk可表成X1,…,Xp的线性组合,但X1,…,Xp 一般有相关性，由Zk与Xi的相关系数的公式，可得出表7.1中Zk对应的每一列关于各变量相关系数的加权平方和为λk (即Var(Zk)=λk). 主成分分析的目的是为了简化数据结构（即减少变量的个数）,故在实际应用中一般不用p个主成分,而选用前m(m<p)个主成分.m取多大,这是一个很实际的问题.为此,我们引进贡献率的概念. 定义7.1.2 称λk / [λ1 +... +λm +…+λp] 为主成分Zk的贡献率;又称 fm=[λ1 +λ2 +... +λm]/ [λ1 +λ2 +... +λm +…+λp]为 主成分Z1,…,Zm(m<p)的累计贡献率. 通常取m,使累计贡献率达到70%或80%以上,累计贡献率的大小表达m个主成分提取了X1,… ,Xp的多少信息,但它没有表达某个变量被提取了多少信息,为此又引入另一个概念. 定义7.1.3 前m个主成分Z1,…,Zm 对原变量Xi的贡献率υi(m) 定义为 Xi 与Z1,… ,Zm 的相关关系数的平方和,它等于 例7.1.1 设随机向量X=(X1,X2,X3)′的协差阵为1 -2 0-2 5 00 0 2Σ=试求X的主成分及其对变量Xi的贡献率υi(i=1,2,3). 解 Σ的特征值为 λ1=3+ 81/2, λ2=2, λ3=3-81/2.相应标准化特征向量为:故主成分为 Z1=0.383 X1-0.924X2 , Z2= X3 (X3本身就是一个主分量，它与X1，X2不相关), Z3=0.924X1+0.383 X2.当取m=1或m=2时,主成分对X的贡献率可达72.8%或97.85%.下表 列出m个主分量对变量Xi的贡献率 二、标准化变量的主成分及性质 在实际问题中,不同的变量往往有不同的量纲,而通过Σ来求主成分首先优先照顾方差(σii)大的变量,有时会造成很不合理的结果,为了消除由于量纲的不同可能带来的一些不合理的影响,常采用将变量标准化的方法.即令 标准化后的随机向量X*=(X1*,X2*,…, Xp*)′的协差阵Σ*就是原随机向量X的相关阵R.从相关阵R出发来求主成分, 记为Z *=(Z1*,…,Zp*)′,则Z*与Z具有相似的性质. 把主成分Zk*(k=1,…,p)对变量Xi*的因子负荷量ρik=ρ(Zk*,Xi*)列成表7.2.表7.2 变量标准化后的因子负荷量 小结掌握：1、主成分的性质 主成分Zk的贡献率2、几个重要的概念主成分Z1,…,Zm(m<p)的累计贡献率前m个主成分Z1,…,Zm 对原变量Xi的贡献率