漳州北京网站建设公司哪家好,吴忠网站设计公司,云上铺会员管理系统,七牛 wordpress缩略图文章目录 线性最小二乘的直接解法#xff08;正规方程解法#xff09;什么是伪逆#xff1f;伪逆矩阵的一般形式伪逆矩阵与SVD的关系 线性最小二乘的直接解法#xff08;正规方程解法#xff09;
对于 A x b \boldsymbol{A}xb Axb的线性最小二乘问题#xff0c;有直解析… 文章目录 线性最小二乘的直接解法正规方程解法什么是伪逆伪逆矩阵的一般形式伪逆矩阵与SVD的关系 线性最小二乘的直接解法正规方程解法
对于 A x b \boldsymbol{A}xb Axb的线性最小二乘问题有直解析解 x ( A T A ) − 1 A T b x(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b x(ATA)−1ATb
什么是伪逆
对于正方形满秩矩阵而言存在逆矩阵但是对于非正方形矩阵行列数量不等或者秩亏矩阵而言若 A A^{} A满足以下四个条件 A A A A . A A^{} AA \text {. } AAAA. A A A A . A^{} A A^{}A^{} \text {. } AAAA. ( A A ) T A A . \left(A A^{}\right)^TA A^{} . (AA)TAA. ( A A ) T A A \left(A^{} A\right)^TA^{} A (AA)TAA 则称 A A^{} A为矩阵 A A A的伪逆矩阵也称为Moore–Penrose 逆矩阵。
伪逆矩阵的一般形式
当 A A A 是列满秩矩阵时有 A ( A T A ) − 1 A T . A^{}\left(A^T A\right)^{-1} A^T \text {. } A(ATA)−1AT.
此时称为左伪逆矩阵此时满足 A A I A^{} AI AAI.
当 A A A 是行满秩矩阵秩亏时有 A A ∗ ( A A ∗ ) − 1 . A^{}A^*\left(A A^*\right)^{-1} \text {. } AA∗(AA∗)−1. 此时称为右伪逆矩阵此时满足 A A I A A^{}I AAI. 可以发现伪逆的一般形式与线性最小二乘的直接解法形式相同二者相差右乘系数b
伪逆矩阵与SVD的关系
由 A A A 的奇异值分解性质可知 ( A T A ) V Σ 2 V 得 ( A T A ) V Σ 2 V − 1 \left(A^T A\right)V\Sigma^{2}V得 \left(A^T A\right)V\Sigma^{2}V^{-1} (ATA)VΣ2V得(ATA)VΣ2V−1 因为 A T ( V T ) T Σ T U T V Σ T U T A^{\mathrm{T}}\left(V^{\mathrm{T}}\right)^{\mathrm{T}} \Sigma^{\mathrm{T}} U^{\mathrm{T}}V \Sigma^{\mathrm{T}} U^{\mathrm{T}} AT(VT)TΣTUTVΣTUT. U , V U,V U,V为正交矩阵所以 U T U − 1 , V T V − 1 U^TU^{-1},V^TV^{-1} UTU−1,VTV−1
当 A A A 是列满秩矩阵时参数数量小于方程数量此时有最小二乘解有 A ( A T A ) − 1 A T ( V Σ 2 V − 1 ) − 1 V Σ U − 1 V Σ − 1 U T A^{}\left(A^T A\right)^{-1} A^T (V\Sigma^{2}V^{-1})^{-1}V \Sigma U^{-1} V \Sigma^{-1} U^{T} A(ATA)−1AT(VΣ2V−1)−1VΣU−1VΣ−1UT 可以发现利用SVD分解可以求解线性最小二乘问题。此外可以发现 Σ \Sigma Σ(奇异值)对于解的稳定性是否是病态方程组至关重要。特别地当 A A A为满秩方阵时奇异值最大值与最小值的比值为矩阵 A A A的条件数条件数反应了矩阵 A A A元素对方程解稳定性的影响程度。
参考 1 《线性代数及其应用》7.4 2 3 4 华东师范大学第三讲线性最小二乘问题
