矩阵的因子分解第4章.ppt

著名的PCA（PrincipalComponentAnalysis）由于样本矩阵的每一行是一个样本，特征向量矩阵的每一列是一个特征向量。右乘相当于以每个样本的特征向量为基进行线性变换，得到的新样本矩阵中每个样本的维数变为了p，完成了降维操作。实际上，P1中的特征向量就是低维空间新的坐标系，称之为“主成分”。这就是“主成分分析”的名称由来。从Beltrami（1873）和Jordan（1874）提出奇异值分解（SVD：SingularValueDecomposition）至今，SVD已经成为矩阵计算中最有用和最有效的工具之一，由于奇异值良好的数学特征,奇异值分解不仅仅应用在主成分分析、图像压缩、数字水印和文章分类中,而且在信号分解、信号重构、信号降躁、数据融合、目标识别、目标跟踪、故障检测和神经网络等方面有很好的应用。§4.6奇异值分解(SVD)（SingularValueDecomposition）引理1设A?Cm×n，则AHA?Cn×n，AAH?Cm×m，且（1）Rank(AHA)=Rank(AAH)=Rank(A)（2）AHA与AAH的特征值均为非负实数；（3）AHA与AAH的非零特征值相同，并且非零特征值的个数（重特征值按重数计算）等于rank（A）；（4）AHA=0?A=0定义1设A?Cm×n，若存在非负实数?和非零向量u?Cn，v?Cm，使得Au=?v,AHv=?u（*）称?为矩阵A的奇异值。相应地，u和v分别称为A对应于奇异值?的右奇异向量和左奇异向量。说明：由（*）式得(AHA)u=?AHv=?2u，(AAH)v=?Au=?2v所以?2是AHA的特征值也是AAH的特征值,而u和v分别是对应于?2的特征向量。所以有设A?Cm×n，rank(A)=r，设AHA的特征值?1??2????r?0，?r+1=?r+2=?=?n=0，称为矩阵A的奇异值。若?i>0,称?i为A的正奇异值。另一种定义：定理1：正规矩阵A的奇异值等于A的特征值的模长。证：根据正规矩阵的性质，知存在酉矩阵U使得A=Udiag(?1,?2,?,?n)UH,其中?1,?2,?,?n是A的特征值，所以AHA=Udiag(|?1|2,|?2|2,?,|?n|2)UH所以A的奇异值为|?1|,|?2|,?,|?n|#定理2（奇异值分解定理）设A?Cm×n，秩（A）=r，则存在m阶酉矩阵V和n阶酉矩阵U使得其中?=diag(?1,…,?r),且?1????r>0.1.U的列向量是AHA的标准正交特征向量；（也称为悬挂矩阵）2.U的前r列向量是AHA对应于r个非零特征值?12?，?r2的标准正交特征向量；3.V的列向量是AAH的标准正交特征向量；（也称为对准矩阵）4.V的前r列向量是AHA对应于特征值?12?，?r2的标准正交特征向量；注记：第二步：令U1=(u1…ur),计算求矩阵SVD的算法第一步：计算，并计算特征值?1…?n和对应的标准正交特征向量u1…un，取U=(u1…un)注：根据这样的取法得AAHV1=A(AHAU1)?-1=A(U1?2)?-1=AU1?=V1?2即：V1对应于特征值?12?，?r2的标准正交特征向量第三步：求解线性方程组的标准正交基础解系vr+1…vm，令V=(v1,…vr,vr+1,...vm)则U和V即为所求。为正交矩阵。证毕唯一性：设A=QR=Q1R1,则Q=Q1R1R-1=Q1D，其中D=R1R-1为非奇异上三角矩阵，于是I=QHQ=(Q1D)H(Q1D)=DHD所以D为酉矩阵，比较DHD=DDH=I的对角元，可得D为对角矩阵，且对角元的模为1，于是R1=DR,Q1=QD-1证毕定理2设A是列满秩的m?n实（复）矩阵，则存在m阶正交（酉）矩阵Q和n阶非奇异实（复）上三角矩阵R，使得定理3设A是m?n矩阵，且rank(A)=r>0,则存在m阶正交（酉）矩阵Q和r?n阶行满秩矩阵R，使得非奇异矩阵的QR分解的推广：推论设A是m?n矩阵，且rank(A)=r>0,则存在m?r列正交规范矩阵Q1和r?n行满秩矩阵R，使得A=Q1R，列正交规范矩阵指的是m?r矩阵Q1满足。