多元统计分析多元统计分析 (46).ppt

应用多元统计分析第八章、因子分析第4讲、参数估计方法 已知p个相关变量的观测数据X(i) = (xi1,…, xip)’ (i=1,…,n).因子分析的目的是用少数几个公共因子(设为m个)来描述p个相关变量间的协方差结构： Σ=AA′+D (8.2.3)其中 A = (aij)为p×m的因子载荷阵; D = diag(σ21,…,σ2p )为p阶对角阵. 因子分析的参数估计问题就是估计公共因子的个数m、因子载荷阵A及特殊因子的方差σ2i (i= 1,…,p),使得满足 Σ=AA′+D 或Σ≈AA′+D. 由p个相关变量的观测数据可得到协差阵Σ的估计(记为S).为了建立公因子模型,首先要估计因子载荷aij和特殊方差σi2 .常用的参数估计方法有以下三种:主成分法,主因子法和极大似然法.一、主成分法 设样本协差阵S的特征值为λ１≥λ2≥…≥ λp ≥０,相应单位正交特征向量为l1,l2,…,lp .记V=diag(λ１ ,λ2,…,λp).根据线性代数的知识(对称阵的谱分解式)有以下分解式: 当最后 p-m 个特征值较小时，则 S 可近似地分解为(A为p×m阵, B为p×p-m阵) S = (l1 … lp)V(l1 … lp)′或 S =λ１l1 l1′+λ2l2 l2′+…+λplp lp′ 其中(8.3.2)(8.3.2)式给出的A和D就是因子模型的一个解. ( D= diag(BB′) )(8.3.1) 载荷阵A中的第j列(即第j个公共因子Fj在X上的载荷)和第j个主成分的系数相差一个倍数(λj )1/2(j=1,2,…,m).故(8.3.2)式给出的这个解常称为因子模型的主成分解. 若记 E=S-(AA′+D)=(εij),可以证明 Q(m)=∑∑ε2ij ≤λ2m+1+…+λ2p (8.3.3)当m选择适当，则近似式 S= (AA′+D) (8.3.1)的误差平方和Q(m)很小. 公共因子个数m的确定方法一般有两种: 一是根据实际问题的意义或专业理论知识来确定; 二是用确定主成分个数的原则.选m为满足： λ1+…+λm / λ1+…+λm +…+λp ≥ P0(比如P0 =0.70或0.85等)的最小正整数. 当相关变量的量纲不同或所取单位的数量级相差较大时，我们常常先对变量标准化.标准化变量的样本协差阵就是原始变量的样本相关阵R.用R代替S，类似可得主成分解.二、主因子法 从R出发,下面来介绍主成分法的一种修正. 设R=AA′+D，则 R-D=AA′=R* 称为约相关阵.如果我们已知特殊方差的初始估计 ,也就是已知先验公因子方差(即共同度）的估计为 则约相关阵R*=R-D为计算R*的特征值和特征向量，取前m个正特征值λ１* ≥ λ2* ≥…≥λm* >０，相应特征向量为l1*, l2*,… lm*.则有近似分解式： R* = AA′,其中 令则A和为因子模型的一个解 这个解就称为主因子解 . 在实际应用中特殊因子方差σi2 或公因子方差(也称为共同度)hi2 是未知的.以上得到的解是近似解.为了得到近似程度更好的解，常常采用迭代主因子法,即利用上面得到的 作为特殊方差的初始估计，重复上述步骤，直到解稳定为止. 因特殊因子方差 故求特殊因子方差的初始估计等价于求公因子方差(或称共同度) hi2的初始估计. 公因子方差(或称变量的共同度)几种常用的初始估计方法： ① hi2取为第i个变量与其他所有变量的多重相关系数的平方(或者取σi2 =1/rii,其中rii是R-1的对角元素,则hi2 =1-σi2. ② hi2 取为第i个变量与其他变量相关系数绝对值的最大值. ③ 取hi2 =1,它等价于主成分解. 三、极大似然法? 为保证得到唯一解，可附加计算上方便的唯一性条件：A′D-1A=对角阵,用迭代方法可求得极大似然估计A和D. 四、主成分估计法的具体步骤设样本数据阵为则应用主成分估计法的具体步骤如下：? (3) 求因子模型的因子载荷矩阵A 小结正交因子模型中的参数估计1、主成分法2、主因子法3、极大似然法