湘潭市建设局网站,玩具 东莞网站建设 技术支持,摇钱树手机论坛网站,官方网站套餐文章目录线性组合与线性方程组生成子空间范数LpL^pLp范数向量点积用范数表示ref衡量矩阵大小特殊类型矩阵和向量对角阵向量长度性质单位向量向量单位化(正规化)正交向量正交正交向量组标准正交基正交化(schmidt)正交矩阵矩阵是正交矩阵的充要条件对称矩阵正交相似概念区分…
文章目录线性组合与线性方程组生成子空间范数LpL^pLp范数向量点积用范数表示ref衡量矩阵大小特殊类型矩阵和向量对角阵向量长度性质单位向量向量单位化(正规化)正交向量正交正交向量组标准正交基正交化(schmidt)正交矩阵矩阵是正交矩阵的充要条件对称矩阵正交相似概念区分正交相似对角化实对称方阵A正交对角化方法线性组合与线性方程组 如果A是方阵,其逆矩阵 A−1A^{−1}A−1 存在那么式 AxbAxbAxb 肯定对于每一个向量 bbb 恰好存在一个解。 但是对于一般的方程组而言(A不一定是方阵)对于向量 b 的某些值有可能不存在解或者存在无限多个解两,或者存在唯一解。 存在多于一个解(是少2个)但是少于无限多个解(解的数量有限而不是无穷大)的情况是不可能发生的 因为如果 x 和y 都是某方程组的解(Axb,Ayb)Axb,Ayb)Axb,Ayb)则 zαxβy,其中αβ1z\alpha{x}\beta{y},其中\alpha\beta1 zαxβy,其中αβ1 对于任意α∈R\alpha\in{R}α∈R,zzz肯定也是AxbAxbAxb的解,因为: AzαAxβAyαbβb(αβ)bbAz\alpha{A}x\beta{A}y\alpha{b}\beta{b}(\alpha\beta)bb AzαAxβAyαbβb(αβ)bb 为了分析方程有多少个解我们可以将 A 的列向量看作从 原点origin元素都是零的向量,对于n维向量,可以理解为n维点,例如三维空间原点(0,0,0))出发的不同方向(用AAA的一个列向量来对应表示一个方向)确定有多少种方法可以到达向量 bbb。 设A∈Rm×nA\in\mathbb{R}^{m\times{n}}A∈Rm×n,则x∈Rnx\in\mathbb{R}^{n}x∈Rn,也即是说A可以看成由n个列向量构成的矩阵(用αi\alpha_iαi表示第i个方向) A(α1,α2,⋯,αn)A(\alpha_1,\alpha_2,\cdots,\alpha_n)A(α1,α2,⋯,αn) x(x1x2⋮xn)x\begin{pmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \\ \end{pmatrix} xx1x2⋮xn 解向量 xxx 中的每个元素xix_ixi表示应该沿着方向αi\alpha_iαi走多的距离为 xix_ixi 将这些步骤效果叠加: Ax∑i1nαixibAx\sum\limits_{i1}^{n}\alpha_{i}x_ib Axi1∑nαixib 这种操作称为向量组的线性组合(向量bbb用矩阵A的列向量组线性表出,表出系数为向量xxx) 其中αi\alpha_iαi是向量,xix_ixi是标量 而AxbAxbAxb的线性方程组展开 是从矩阵乘积的结果bbb(或解向量xxx)的逐个分量的角度描述. Ax∑i1mβixb{a11x1a12x2⋯a1nxnb1,a21x1a22x2⋯a2nxnb2,⋮am1x1am2x2⋯amnxnbnAx\sum\limits_{i1}^{m}\beta_{i}xb\\ \left \{\begin{aligned}{} a_{11} x_{1}a_{12} x_{2}\cdotsa_{1 n} x_{n}b_{1}, \\ a_{21} x_{1}a_{22} x_{2}\cdotsa_{2 n} x_{n}b_{2}, \\ \vdots\\ a_{m1} x_{1}a_{m 2} x_{2}\cdotsa_{m n} x_{n}b_{n} \end{aligned} \right. Axi1∑mβixb⎩⎨⎧a11x1a12x2⋯a1nxna21x1a22x2⋯a2nxn⋮am1x1am2x2⋯amnxnb1,b2,bn 其中βi\beta_iβi是矩阵A的第i个行向量(分块),xxx是解向量
生成子空间 一组向量的 生成子空间span是原始向量线性组合后所能抵达的结果的集合。 确定 AxbAx bAxb 是否有解相当于确定向量 b 是否在 A 列向量的生成子空间中。 A∈Rm×nA\in\mathbb{R}^{m\times{n}}A∈Rm×nx∈Rn×1x\in\mathbb{R}^{n\times{1}}x∈Rn×1b∈Rm×1b\in\R^{m\times{1}}b∈Rm×1 A向量组的生成子空间被称为 A 的 列空间column space或者 A 的 值域range。 为了使方程 AxbAx bAxb 对于任意向量 b∈Rmb\in\mathbb{R}^mb∈Rm 都存在解我们要求 A 的列空间构成整个 Rm\mathbb{R}^mRm。 这意味者b一定会落在A的列空间 如果 Rm\mathbb{R}^mRm 中的某个点不在 A 的列空间中(向量b无法被矩阵A线性表出)那么该点对应的 b 会使得该方程没有解。 矩阵 A 的列空间是整个 Rm\mathbb{R}^mRm 的要求意味着 A 至少有 m 列即 n⩾mn\geqslant mn⩾m。否则A 列空间的维数会小于 m。 例如假设 A 是一个 3 × 2 的矩阵。目标 b 是 3 维的但是 x 只有 2 维。所以无论如何修改二维向量 xxx 的值也只能描绘出 R3\mathbb{R}^3R3 空间中的二维平面,当且仅当向量 b 在该二维平面中时该方程有解。 n⩾mn\geqslant{m}n⩾m仅是方程对每一点都有解的必要条件。这不是一个充分条件因为有些列向量可能是冗余的。 假设有一个 R2×2\mathbb{R}^{2\times{2}}R2×2 中的矩阵它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵时的列空间是一样的。换言之虽然该矩阵有 2 列但是它的列空间仍然只是一条线(只能描述某个方向)不能涵盖整个 R2\mathbb{R}^2R2 空间。
范数 有时我们需要衡量一个向量的大小。 在机器学习中我们经常使用被称为 范数norm的函数衡量向量大小。 严格地说,范数可以是满足以下性质的任意函数: 半范数: f(x)⩾0f(x)\geqslant{0}f(x)⩾0 半正定性 f(xy)⩽f(x)f(y)f(xy)\leqslant{f(x)f(y)}f(xy)⩽f(x)f(y),(次可加性) 即三角不等式,例如函数f(x)∣x∣f(x)|x|f(x)∣x∣就满足∣xy∣⩽∣x∣∣y∣|xy|\leqslant{|x||y|}∣xy∣⩽∣x∣∣y∣ ∀a∈R,f(ax)∣a∣f(x)\forall{a}\in\mathbb{R},f(ax)|a|f(x)∀a∈R,f(ax)∣a∣f(x) 具有绝对一次齐次性 范数是一个半范数加上额外性质 f(x)0⇒x0f(x)0\Rightarrow{x0}f(x)0⇒x0(正定性)
LpL^pLp范数 Lp範數 (wikipedia.org) 形式上LpL^pLp 范数定义如下∣∣x∣∣p||x||_{p}∣∣x∣∣p: ∣∣x∣∣p(∑i∣xi∣p)1p\large||x||_{p}\left(\sum_{i}|x_i|^p\right)^{\frac{1}{p}} ∣∣x∣∣pi∑∣xi∣pp1 xix_ixi是向量xxx的元素其中p∈R,p⩾1p\in\mathbb{R},p\geqslant{1}p∈R,p⩾11p∈(0,1]\frac{1}{p}\in(0,1]p1∈(0,1] 范数是将向量映射到非负值(容易证明Lp⩾0L^p\geqslant{0}Lp⩾0) 由幂函数的知识,在函数f(x)xp(p0)f(x)x^p(p0)f(x)xp(p0)是递增函数∣xi∣⩾0|x_i|\geqslant{0}∣xi∣⩾0,则00p⩽∣xi∣p00^{p}\leqslant{|x_i|^p}00p⩽∣xi∣p所以∑i∣xi∣p⩾0\sum_{i}|x_i|^p\geqslant{0}∑i∣xi∣p⩾0∣∣x∣∣p⩾0||x||_p\geqslant{0}∣∣x∣∣p⩾0 补充:由指数函数知识,g(x)tx(0t1)g(x)t^x(0t1)g(x)tx(0t1)是递减的,在t1t1t1是递增的 如果∣xi∣1|x_i|1∣xi∣1,则∑i∣xi∣p⩽∑i∣xi∣\sum_{i}|x_i|^p\leqslant{\sum_{i}|x_i|}∑i∣xi∣p⩽∑i∣xi∣如果∣xi∣1|x_i|1∣xi∣1,则:∑i∣xi∣p⩾∑i∣xi∣\sum_{i}|x_i|^p\geqslant{\sum_{i}|x_i|}∑i∣xi∣p⩾∑i∣xi∣ 向量x的范数衡量从原点(零向量)到点x的距离 当p2p2p2时,L2L^2L2范数被称为Euclidean norm(欧几里得范数) ∣∣x∣∣2||x||^2∣∣x∣∣2破坏了范数规则,比如次可加性 它表示从原点出发到向量xxx确定的点的欧几里得距离 欧几里得距离 (wikipedia.org) 对于n维向量空间,原点O(0,0,⋯,0)O(0,0,\cdots,0)O(0,0,⋯,0)到x(x1,x2,⋯,xn)x(x_1,x_2,\cdots,x_n)x(x1,x2,⋯,xn)描述的点的欧式距离 ∥x⃗∥2∣x1∣2⋯∣xn∣2\|{\vec {x}}\|_{2}{\sqrt {|x_{1}|^{2}\cdots |x_{n}|^{2}}} ∥x∥2∣x1∣2⋯∣xn∣2 更一般的,从点ppp到qqq的欧几里得距离: d(p,q)∑i1n(qi−pi)2d(\mathbf {p,q}) \sqrt{\sum \limits_{i1}^n (q_i-p_i)^2} d(p,q)i1∑n(qi−pi)2 p,qp,qp,q two points in Euclidean n-space qi,piq_i, p_iqi,pi Euclidean vectors, starting from the origin of the space (initial point) nnn n-space 或描述为: d(x,y)(x1−y1)2(x2−y2)2⋯(xn−yn)2{\displaystyle d(x,y){\sqrt {(x_{1}-y_{1})^{2}(x_{2}-y_{2})^{2}\cdots (x_{n}-y_{n})^{2}}}} d(x,y)(x1−y1)2(x2−y2)2⋯(xn−yn)2 L2L^2L2 范数在机器学习中出现地十分频繁 平方L2L^2L2范数∣∣x∣∣22||x||_2^2∣∣x∣∣22,经常简化表示为 ∥x∥∥x∥∥x∥略去了角标2平方 L2L^2L2 范数也经常用来衡量向量的大小可以简单地通过点积 (xTxx^TxxTx)计算。平方 L2L^2L2 范数在数学和计算上都比 L2L^2L2 范数本身更方便。 例如平方 L2L^2L2 范数对xxx中每个元素的导数只取决于对应的元素 而 L2L^2L2 范数对每个元素的导数却和整个向量相关。 但是在很多情况下平方 L2L^2L2 范数也可能不受欢迎因为它在原点附近增长得十分缓慢。 在某些机器学习应用中区分恰好是零的元素和非零但值很小的元素是很重要的。 在这些情况下我们转而使用在各个位置斜率相同同时保持简单的数学形式的函数L1 范数。 L1 范数可以简化如下 ∣∣x∣∣1∑i∣xi∣||x||_1\sum_i|x_i| ∣∣x∣∣1i∑∣xi∣ 最大范数 ∣∣x∣∣∞max(x1,x2,⋯,xn)或描述为:∥x⃗∥∞limp→∞(∑i1n∣xi∣p)1/pmaxi∣xi∣||x||_{\infin}max(x_1,x_2,\cdots,x_n) \\ 或描述为: \\ {\displaystyle \lVert {\vec {x}}\rVert _{\infty }\lim _{p\to \infty }{\Bigl (}\sum \limits _{i1}^{n}|x_{i}|^{p}{\Bigr )}^{1/p}\max _{i}|x_{i}|} ∣∣x∣∣∞max(x1,x2,⋯,xn)或描述为:∥x∥∞p→∞lim(i1∑n∣xi∣p)1/pimax∣xi∣
向量点积用范数表示 xTy∣∣x∣∣2∣∣y∣∣2cosθx^Ty||x||_2||y||_2\cos{\theta} xTy∣∣x∣∣2∣∣y∣∣2cosθ 其中θ\thetaθ表示x,yx,yx,y之间的夹角
ref 范数 (wikipedia.org) 范数英语Norm是具有“长度”概念的函数。 在线性代数、泛函分析及相关的数学领域是一个函数其为向量空间内的所有向量赋予非零的正长度或大小。 另一方面半范数英语seminorm可以为非零的向量赋予零长度。 例一个二维度的欧氏几何空间R2\mathbb {R} ^{2}R2就有欧氏范数。在这个向量空间的元素譬如(3,7)常常在笛卡尔坐标系统被画成一个从原点出发的箭号。每一个向量的欧氏范数就是箭号的长度。 拥有范数的向量空间就是赋范向量空间。同样拥有半范数的向量空间就是赋半范向量空间。
衡量矩阵大小 有时候我们可能也希望衡量矩阵的大小。在深度学习中最常见的做法是使用 Frobenius 范数Frobenius norm ∣∣A∣∣F∑i,jAi,j2||A||_{F}\sqrt{\sum\limits_{i,j}A^2_{i,j}} ∣∣A∣∣Fi,j∑Ai,j2 其中Ai,jA_{i,j}Ai,j是矩阵A的第i行第j列元素 其类似于L2L^2L2范数
特殊类型矩阵和向量
对角阵 Diagonal matrix - Wikipedia Main diagonal - Wikipedia 对角矩阵diagonal matrix只在主对角线上含有非零元素其他位置都是零。 形式上,设矩阵D满足,Dij0D_{ij}0Dij0,if i≠ji\neq{j}ij,则D是对角阵 啰嗦的讲: Dij{0,i≠jx,ijx可以是任何数D_{ij} \begin{cases} 0,i\neq{j}\\ x,i j \end{cases} \quad x可以是任何数 Dij{0,x,ijijx可以是任何数 矩阵主对角线上的元素是Dij,ijD_{ij},ijDij,ij的元素 非方阵矩阵也有主对角线元素,并且主对角线长度取决于行数和列数种的较小者 [100010001][100001000010][100010001000][1000010000100001]{\displaystyle {\begin{bmatrix}\color {red}{1}00\\0\color {red}{1}0\\00\color {red}{1}\end{bmatrix}}\qquad {\begin{bmatrix}\color {red}{1}000\\0\color {red}{1}00\\00\color {red}{1}0\end{bmatrix}}\qquad {\begin{bmatrix}\color {red}{1}00\\0\color {red}{1}0\\00\color {red}{1}\\000\end{bmatrix}}\qquad {\begin{bmatrix}\color {red}{1}000\\0\color {red}{1}00\\00\color {red}{1}0\\000\color {red}{1}\end{bmatrix}}\qquad } 1000100011000100010001000010000101000010000100001 主对角线元素用红色表出且这些矩阵都是满足对角阵的定义(对于非方阵而言,对角阵的主对角线两侧0的分布不对称) 非零元素的占比:设qmin(m,n),其中m,n分别是对角阵D的行数和列数则对角阵D种的非零元素比例不超过qq21q\frac{q}{q^2}\frac{1}{q}q2qq1这是计算机计算对角阵乘法快速的原因之一 我们用 diag(v)diag(v)diag(v) 表示一个对角元素由向量 v 中元素给定的对角方阵。 对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。 计算乘法 diag(v)xdiag(v)xdiag(v)x我们只需要将 x 中的每个元素 xix_ixi 放大 viv_ivi 倍。换言之diag(v)xv⊙xdiag(v)x v ⊙ xdiag(v)xv⊙x。计算对角方阵的逆矩阵也很高效。 在很多情况下我们可以根据任意矩阵导出一些通用的机器学习算法但通过将一些矩阵限制为对角矩阵我们可以得到计算代价较低的并且简明扼要的算法。 不是所有的对角矩阵都是方阵。 长方形的矩阵也有可能是对角矩阵。非方阵的对角矩阵没有逆矩阵但我们仍然可以高效地计算它们的乘法。对于一个长方形对角矩阵 D 而言,和向量xxx的乘法 DxDxDx 会涉及到向量xxx 中每个元素的缩放 如果 D 是瘦长型矩阵那么在缩放后的末尾添加一些零如果 D 是胖宽型矩阵那么在缩放后去掉最后一些元素。
向量长度 设向量α\alphaα是n维实向量,向量长度被定义为∣∣α∣∣αTα||\alpha||\sqrt{\alpha^T\alpha}∣∣α∣∣αTα 若α(a1,⋯,an)T\alpha(a_1,\cdots,a_n)^Tα(a1,⋯,an)T 则 ∣∣a∣∣∑iai2||a||\sqrt{\sum_{i}a_i^2} ∣∣a∣∣i∑ai2 对于记号∣∣α∣∣||\alpha||∣∣α∣∣有时被强调为∣∣α∣∣2||\alpha||_2∣∣α∣∣2(带上角标,L2L^{2}L2范数) 如果将α\alphaα是三维向量,那么将三维向量看作是空间中的一个点P坐标,则∣∣a∣∣||a||∣∣a∣∣描述的就是点P到原点的距离
性质 ∣∣α∣∣⩾0||\alpha||\geqslant{0}∣∣α∣∣⩾0 仅当α0\alpha0α0时∣∣α∣∣0||\alpha||0∣∣α∣∣0 ∣∣kα∣∣∣k∣⋅∣∣α∣∣,k∈R||k\alpha|||k|\cdot{||\alpha||},k\in{\mathbb{R}}∣∣kα∣∣∣k∣⋅∣∣α∣∣,k∈R ∣∣ka∣∣∑i(kai)2∑k2ai2k2∑ai2∣k∣∑iai2∣k∣⋅∣∣α∣∣||ka||\sqrt{\sum_{i}(ka_i)^2}\sqrt{\sum k^2{a_{i}^2}} \\\sqrt{k^2\sum {a_{i}^2}} |k|\sqrt{\sum_{i}a_i^2} |k|\cdot{||\alpha||} ∣∣ka∣∣i∑(kai)2∑k2ai2k2∑ai2∣k∣i∑ai2∣k∣⋅∣∣α∣∣
单位向量 单位向量unit vector是具有单位范数unit norm的向量 ∥x∥21∥x∥_2 1 ∥x∥21
向量单位化(正规化) 非单位向量可以通过正规化得到同方向的单位向量 对于任意非零向量α\alphaα, β1∣∣α∣∣α的长度一定是1∣∣β∣∣∣∣1∣∣α∣∣α∣∣1∣∣α∣∣∣∣α∣∣1\beta\frac{1}{||\alpha||}\alpha的长度一定是1 \\ ||\beta||\left|\left|\frac{1}{||\alpha||}\alpha\right|\right| \frac{1}{||\alpha||}||\alpha||1 β∣∣α∣∣1α的长度一定是1∣∣β∣∣∣∣α∣∣1α∣∣α∣∣1∣∣α∣∣1
正交
向量正交 如果 (x,y)xTy0(x,y)x^Ty 0(x,y)xTy0那么向量 x 和向量 y 互相 正交orthogonal,记为x⊥yx\perp{y}x⊥y 如果两个向量都有非零范数(长度大于0)那么这两个向量之间的夹角是 90 度。 在 Rn\mathbb{R}^nRn 中至多有 n 个范数非零向量互相正交。 如果这些向量不仅互相正交并且范数都为 1那么我们称它们是 标准正交orthonormal。
正交向量组 若Φα1⋯,αn\Phi\alpha_1\cdots,\alpha_nΦα1⋯,αn,αi≠0,i1,2,⋯,n\alpha_i\neq{0},i1,2,\cdots,nαi0,i1,2,⋯,n中向量两两正交,(αi,αj)0,(i≠j),i,j1,2,⋯,n(\alpha_i,\alpha_j)0,(i\neq{j}),i,j1,2,\cdots,n(αi,αj)0,(ij),i,j1,2,⋯,n,则称Φ\PhiΦ是一个正交向量组 显然有 (αi,αj){0,i≠jR,ijR0(\alpha_i,\alpha_j) \begin{cases} 0,i\neq{j}\\ R^,ij \end{cases} \\R^0 (αi,αj){0,R,ijijR0 正交向量组Φ⊥\Phi_{\perp}Φ⊥线性无关 证明 设βαp,p∈{1,2,⋯,n}\beta\alpha_{p},p\in\{1,2,\cdots,n\}βαp,p∈{1,2,⋯,n} 设存在常数Kk1,⋯,knKk_1,\cdots,k_nKk1,⋯,kn ∑inkiαi0\sum_{i}^{n}k_i\alpha_i0∑inkiαi0 两边同时和β\betaβ做内积 (β,∑inkiαi)0(\beta,\sum_{i}^{n}k_i\alpha_i)0(β,∑inkiαi)0 ∑in(β,kiαi)∑inki(β,αi)0\sum_i^n(\beta,k_i\alpha_i) \sum_i^nk_i(\beta,\alpha_i)0 i∑n(β,kiαi)i∑nki(β,αi)0 由于 (αp,αi)0(\alpha_p,\alpha_i)0(αp,αi)0,if p≠ip\neq{i}pi(αp,αi)0(\alpha_p,\alpha_i)0(αp,αi)0,if pipipi 所以 ki(β,αi)0,i≠pk_i(\beta,\alpha_i)0,i\neq{p} ki(β,αi)0,ip 或者描述为: 或kp‾(αp,αp‾)0或k−p(αp,α−p)0p‾和−p都表示不等于p的数或\Large k_{\overline{p}}(\alpha_p,\alpha_{\overline{p}})0 \\ 或\Large k_{-p}(\alpha_p,\alpha_{-{p}})0 \\ \overline{p}和-p都表示不等于p的数 或kp(αp,αp)0或k−p(αp,α−p)0p和−p都表示不等于p的数 kp(β,αp)0,kp0k_p(\beta,\alpha_p)0,k_p0kp(β,αp)0,kp0 类似的,当βαp\beta\alpha_pβαp,p取遍1,2,⋯,n1,2,\cdots,n1,2,⋯,n,可得k1k2⋯kn0k_1k_2\cdotsk_n0k1k2⋯kn0
标准正交基 设正交向量组Φ\PhiΦ的每个向量都是单位向量,则称Φ\PhiΦ为标准正交基(规范正交基),还可以描述为: (αi,αj)δij{1,ij0,i≠j(i,j1,2,⋯n)(\alpha_i,\alpha_j)\delta_{ij} \begin{cases} 1,ij\\ 0,i\neq{j} \end{cases} \quad(i,j1,2,\cdotsn) (αi,αj)δij{1,0,ijij(i,j1,2,⋯n) 专用符号δij\delta_{ij}δij是Kronecker符号
正交化(schmidt) 一个向量组线性无关是该型两组称为正交向量组的必要条件(却不充分条件) 对于一个线性无关组Φ\PhiΦ,可以通过施密特正交化方法,求出一个等价的正交向量组Ψ\PsiΨ,Ψ∼Φ\Psi\sim{\Phi}Ψ∼Φ 这是一种递推计算的方法 设Φ(α1,α2,⋯,αn)\Phi(\alpha_1,\alpha_2,\cdots,\alpha_n)Φ(α1,α2,⋯,αn) 令 βiαi−∑i1s((αi,βi−1)βi−1,βi−1)βi−1αi−∑i1n(αi,βi−1)∣∣βi−1∣∣2βi−1令β00i1,2,⋯,n\beta_{i}\alpha_i-\sum_{i1}^{s}(\frac{(\alpha_i,\beta_{i-1})}{\beta_{i-1},\beta_{i-1}})\beta_{i-1} \\\alpha_i-\sum_{i1}^{n}\frac{(\alpha_i,\beta_{i-1})}{||\beta_{i-1}||^2}\beta_{i-1} \\令\beta_00 \\ i1,2,\cdots,n βiαi−i1∑s(βi−1,βi−1(αi,βi−1))βi−1αi−i1∑n∣∣βi−1∣∣2(αi,βi−1)βi−1令β00i1,2,⋯,n 令Ψβ1,⋯,βn\Psi\beta_1,\cdots,\beta_nΨβ1,⋯,βn,Ψ\PsiΨ正交向量组 则Ψ≅Φ\Psi\cong{\Phi}Ψ≅Φ(等价)
正交矩阵 正交矩阵是一种特殊的可逆矩阵 设n阶方阵A满足ATAEA^TAEATAE(或AATEAA^TEAATE),则称A是正交矩阵(正交阵) 正交矩阵的逆:A−1ATA^{-1}A^TA−1AT 由(ATA)E(A^TA)E(ATA)E和可逆矩阵的定义可以推出ATA−1A^TA^{-1}ATA−1 即有A−1AAA−1EA^{-1}AAA^{-1}EA−1AAA−1E因此ATAAATEA^TAAA^TEATAAATE A−1A^{-1}A−1依然是正交矩阵 A−1ATA^{-1}A^TA−1AT因为(A−1)T(AT)TA(A^{-1})^T(A^T)^TA(A−1)T(AT)TA(A−1)T(A−1)AATE(A^{-1})^T(A^{-1})AA^TE(A−1)T(A−1)AATE所以A−1A^{-1}A−1依然可逆 ∣A∣1|A|1∣A∣1 ∣ATA∣∣E∣|A^TA||E|∣ATA∣∣E∣∣AT∣∣A∣1|A^T||A|1∣AT∣∣A∣1∣AT∣∣A∣,∣A∣21|A^T||A|,|A|^21∣AT∣∣A∣,∣A∣21∣A∣±1|A|\pm 1∣A∣±1 (A∗)TA∗E(A^*)^TA^*E(A∗)TA∗E 证明: A−1∣A∣−1A∗A^{-1}|A|^{-1}A^{*}A−1∣A∣−1A∗(A−1)T(A−1)E(A^{-1})^T(A^{-1})E(A−1)T(A−1)E(∣A∣−1A∗)T∣A∣−1A∗E(|A|^{-1}A^{*})^T|A|^{-1}A^{*}E(∣A∣−1A∗)T∣A∣−1A∗E∣A∣−1(A∗)T∣A∣−1A∗E|A|^{-1}(A^*)^T|A|^{-1}A^*E∣A∣−1(A∗)T∣A∣−1A∗E ∣A∣21|A|^21∣A∣21∣A∣−21|A|^{-2}1∣A∣−21 (A∗)TA∗E(A^*)^TA^*E(A∗)TA∗E 设A,B为同阶正交矩阵,ATAE,BTBEA^TAE,B^TBEATAE,BTBE,则对于CABCABCAB,有CTCEC^TCECTCE (AB)T(AB)BTATABBT(ATA)BBTEBBTBE(AB)^T(AB)B^TA^TABB^T(A^TA)BB^TEBB^TBE(AB)T(AB)BTATABBT(ATA)BBTEBBTBE因此(AB)(AB)(AB)为正交矩阵
矩阵是正交矩阵的充要条件 n阶方阵Q的行(列)向量组是标准正交基是Q为正交矩阵的充要条件 设Q(α1,⋯,αn)TQ(\alpha_1,\cdots,\alpha_n)^TQ(α1,⋯,αn)T αi\alpha_iαi是行向量 QT(α1T,⋯,αnT)Q^T(\alpha_1^T,\cdots,\alpha_n^T)QT(α1T,⋯,αnT) αiT\alpha_i^TαiT是列向量 QQTQTQEQQ^TQ^TQEQQTQTQE QQT(α1α2⋮αn)(α1T,⋯,αnT)(α1α1Tα1α2T⋯α1αnTα2α1Tα2α2T⋯α2αnT⋮⋮⋮αnα1Tαnα2T⋯αnαnT)E(10⋯001⋯0⋮⋮⋮00⋯1)QQ^T \begin{pmatrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{pmatrix} (\alpha_1^T,\cdots,\alpha_n^T) \\ \begin{pmatrix} \alpha_1\alpha_1^T\alpha_1\alpha_2^T\cdots\alpha_1\alpha_n^T\\ \alpha_2\alpha_1^T\alpha_2\alpha_2^T\cdots\alpha_2\alpha_n^T\\ \vdots\vdots\vdots\\ \alpha_n\alpha_1^T\alpha_n\alpha_2^T\cdots\alpha_n\alpha_n^T \end{pmatrix} E \begin{pmatrix} 10\cdots0\\ 01\cdots0\\ \vdots\vdots\vdots\\ 00\cdots1 \end{pmatrix} QQTα1α2⋮αn(α1T,⋯,αnT)α1α1Tα2α1T⋮αnα1Tα1α2Tα2α2T⋮αnα2T⋯⋯⋯α1αnTα2αnT⋮αnαnTE10⋮001⋮0⋯⋯⋯00⋮1 αiαjT(αi,αj){1,ij0,i≠j(i,j1,2,⋯n)\alpha_i\alpha_j^T(\alpha_i,\alpha_j) \begin{cases} 1,ij\\ 0,i\neq{j} \end{cases} \quad(i,j1,2,\cdotsn) \\ αiαjT(αi,αj){1,0,ijij(i,j1,2,⋯n) 说明矩阵QQQ的行向量组α1,⋯,αn\alpha_1,\cdots,\alpha_nα1,⋯,αn是标准正交向量组 类似的 对于QTQEQ^TQEQTQE,QTQ^TQT的行向量组β1,⋯,βn\beta_1,\cdots,\beta_nβ1,⋯,βn是标准正交向量组而QTQ^TQT的行向量就是Q的列向量,因此Q的列向量也是标准正交向量组 如果Q的行向量组是标准正交向量组,那么Q是正交矩阵 设Q的行向量组为Φα1,⋯,αn\Phi\alpha_1,\cdots,\alpha_nΦα1,⋯,αn,Φ\PhiΦ是个标准正交向量组,则 (αi,αj){1,ij0,i≠j(i,j1,2,⋯n)(αi,αj)αiαjT即:(α1α1Tα1α2T⋯α1αnTα2α1Tα2α2T⋯α2αnT⋮⋮⋮αnα1Tαnα2T⋯αnαnT)(10⋯001⋯0⋮⋮⋮00⋯1)(α1α2⋮αn)(α1T,⋯,αnT)EQQTE所以Q是正交矩阵(\alpha_i,\alpha_j) \begin{cases} 1,ij\\ 0,i\neq{j} \end{cases} \quad(i,j1,2,\cdotsn) \\ (\alpha_i,\alpha_j)\alpha_i\alpha_{j}^T \\ 即:\begin{pmatrix} \alpha_1\alpha_1^T\alpha_1\alpha_2^T\cdots\alpha_1\alpha_n^T\\ \alpha_2\alpha_1^T\alpha_2\alpha_2^T\cdots\alpha_2\alpha_n^T\\ \vdots\vdots\vdots\\ \alpha_n\alpha_1^T\alpha_n\alpha_2^T\cdots\alpha_n\alpha_n^T \end{pmatrix} \begin{pmatrix} 10\cdots0\\ 01\cdots0\\ \vdots\vdots\vdots\\ 00\cdots1 \end{pmatrix} \\ \begin{pmatrix} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_n \end{pmatrix} (\alpha_1^T,\cdots,\alpha_n^T)E \\QQ^TE \\所以Q是正交矩阵 (αi,αj){1,0,ijij(i,j1,2,⋯n)(αi,αj)αiαjT即:α1α1Tα2α1T⋮αnα1Tα1α2Tα2α2T⋮αnα2T⋯⋯⋯α1αnTα2αnT⋮αnαnT10⋮001⋮0⋯⋯⋯00⋮1α1α2⋮αn(α1T,⋯,αnT)EQQTE所以Q是正交矩阵 类似的QTQ^TQT的行向量组是标准正交向量组,则QTQEQ^TQEQTQE QTQ^TQT的行向量组就是Q的列向量组,从而Q的列向量组是表征正交向量组可以推出Q是正交矩阵
对称矩阵
若方阵A满足ATAA^TAATA,则AAA是对称阵 aijaji,(i,j1,2,⋯n)a_{ij}a_{ji},(i,j1,2,\cdots{n})aijaji,(i,j1,2,⋯n) 若方阵A满足AT−AA^T-AAT−A,则AAA是反对称阵 aij−aji,(i,j1,2,⋯n)a_{ij}-a_{ji},(i,j1,2,\cdots{n})aij−aji,(i,j1,2,⋯n)反对称阵的主对角线全为0
正交相似
如果方阵A:Q−1AQBQ^{-1}AQBQ−1AQB,(Q为正交矩阵(QTQEQ^TQEQTQE),则称A(关于Q)正交相似于BBB
概念区分 区分相似对角化和正交相似 基本相似A∼BA\sim{B}A∼B:P−1APBP^{-1}APBP−1APB 相似对角化要求B是某个对角阵Λ\LambdaΛ后者要求P是个正交矩阵(PTPEP^TPEPTPE) 另外还要区分对称和正交,两者都涉及到方阵的转置 不是所有方阵都可以对角化
正交相似对角化
对于方阵A,存在正交矩阵Q,使得Q−1AQΛQ^{-1}AQ\LambdaQ−1AQΛ,则A可以被正交相似对角化(简称正交对角化)
实对称方阵A正交对角化方法
求出实对称阵A的全部特征值(对称阵才可以正交对角化) 如果特征值λi\lambda_iλi是单根,则从f(λi)0,即(λiE−A)x0f(\lambda_i)0,即(\lambda_iE-A)x0f(λi)0,即(λiE−A)x0对应的求出一个特征向量αi\alpha_iαi如果特征值λi\lambda_iλi是nin_ini重根, 则从f(λi)0f(\lambda_i)0f(λi)0求出nin_ini个线性无关特征向量Φiαi1,⋯,αni\Phi_i\alpha_{i_1},\cdots,\alpha_{n_i}Φiαi1,⋯,αni对Φi\Phi_iΦi执行Schmidt正交化在执行Normalization单位化 将得到的所有向量依此排列起来得到正交矩阵Q(α1,⋯,αn)(\alpha_1,\cdots,\alpha_n)(α1,⋯,αn)
