设为首页|收藏本站|
开启左侧

[问答] 麻省理工学院

[复制链接]
96791 0
icerose_0_0 发表于 2023-3-22 04:37:53 | 只看该作者 打印 上一主题 下一主题
 
本节课主要讲解:矩阵最终和最好的分解,分解之后是正交矩阵,对角矩阵,正交矩阵。这里需要两个正交矩阵,可能需要两个不同的正交矩阵,任意矩阵都可以这么分解。
      上节课讲的正定矩阵 A=Q\Lambda Q^{-1},A=S\Lambda S^{-1} 就是奇异值分解。一般来说特征值构成的矩阵 S 并不是正交矩阵,但是本章值研究正交的情况。
      我们的目的就是找打矩阵A,使得行空间中两个正交向量 U_1,U_2 可以用列空间的向量 V_1,V_1 来表示,即图中的 U_1=AV_1, U_2=AV_2 。

麻省理工学院 第1张图片

左为列空间,右边为行空间,各个空间找到的向量相互垂直。

为什么图中没带上零空间呢?因为这些零向量体现在对角矩阵中是0,不会对计算造成难度。 难点是如何找到 v_1,v_2 ,这个 A[v_{1} v_{2}...v_{r}] 这两个相乘,最简单的方式就是让 [v_{1} v_{2}...v_{r}] 是标准的正交的单位向量,这样算起来容易,那么此时u_{1} 就是 A[v_{1}v_{2}...v_{r}] 的一个倍数: \sigma_{1} u_{1}=Av_{1} (此处为什么有个倍数关系,因为我们把 [v_{1} v_{2}...v_{r}] 变成单位向量是要除以向量长度的,乘到左边去。注意v向量变了。)定义这个 \sigma 为“缩放因子”,同理: Av_{2}=\sigma_{2} u_{2}
     把所有的 v放在一起 Av_{1}+Av_{2}+...+Av_{r}=A[v_{1},v_{2},...,v_{4}]=[\sigma_{1} u_{1},\sigma_{2} u_{2},...,\sigma_{r} u_{r}] = \left[   \begin{array}{ccc}     \sigma_{1} & && \\      &\sigma_{2}&& \\    &&...&& \\    &&&&\sigma_{r} \\   \end{array} \right][u_{1},u_{2},...,u_{r}] (A乘以一个基向量 v_{1} ,就是另一个 \sigma _{1} 乘以一个基向量 u_{1} )
      推出AV=U\Sigma, 这个式子的含义:寻找到行空间的一组正交基 V ,列空间的一组标准正交基 U 。 这个矩阵A 被转化成了一个对角矩阵 \Sigma ,上一节课讲的对称正定矩阵是一种特例: AQ=Q\Sigma (公式怎么来的?对角化 AS=S\Lambda在矩阵对称的情况下 AQ=Q\Lambda , \Lambda和\sigma 都是对角矩阵)这里的 UV都等于Q。
例题1: A=\left[   \begin{array}{ccc}     4 & 4\\     -3 & 3\\   \end{array} \right]
      需要求解:1、在行空间中的向量 v_{1},v_{2} 2、在列空间中的向量 u_{1},u_{2} 3、 \sigma_{1}>0,\sigma_{2}>0 先求这些向量是标准正交的向量和缩放因子。此处在求解是还不能使用特征向量,它们不是正交的。所以还需要求正交的向量。求解这两个式子 Av_{1}=\sigma_{1}u_{1},Av_{2}=\sigma_{2}u_{2}
AV=U\Sigma两边同时乘以 V^{-1} 得到 A=U\Sigma V^{-1} , V 是正交的有 V^{-1}=V^{T} 推出 A=U\Sigma V^{T} 。在求解的过程中我们不是希望求解两个对角矩阵,如何把 U 消掉呢?
A^TA = V\Sigma^TU^TU\Sigma V^{T}=V\Sigma^T\Sigma V^{T}  = V\left[   \begin{array}{ccc}     \sigma_{1}^2 &\\  &\sigma_{2}^2  \end{array} \right]V^T 说明一下: \Sigma^T\Sigma 它们是对角矩阵,它们的乘积是对角线的乘积, 把  A^TA 看做一个矩阵,它 是正定的,也就是之前的公式 A^TA=Q\Lambda Q^T 特征值和特征向量的形式, V 也是正定矩阵。
      同理: AA^T = U\Sigma V^{T} V\Sigma ^TU^T = U\left[   \begin{array}{ccc}     \sigma_{1}^2 &\\  &\sigma_{2}^2  \end{array} \right]U^T
1、  A^TA=\left[   \begin{array}{ccc}     4 & -3\\     4 & 3\\   \end{array} \right]\left[   \begin{array}{ccc}     4 & 4\\     -3 & 3\\   \end{array} \right] = \left[   \begin{array}{ccc}     25 & 7\\     7 & 25\\   \end{array} \right] \lambda_{1}=32,\lambda_{2}=18 ,特征向量为: \left[   \begin{array}{ccc}     1\\     1\\   \end{array} \right], \left[   \begin{array}{ccc}     -1\\     1\\   \end{array} \right] 标准化操作得到: \left[   \begin{array}{ccc}      \frac{1}{\sqrt{2}}\\      \frac{1}{\sqrt{2}}\\   \end{array} \right], \left[   \begin{array}{ccc}     -\frac{1}{\sqrt{2}}\\      \frac{1}{\sqrt{2}}\\   \end{array} \right] 带回公式 A=U\Sigma V^{T} 中: A=U\left[   \begin{array}{ccc}     \sqrt{32} & 0\\     0&\sqrt{18}\\   \end{array} \right]\left[   \begin{array}{ccc}     \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\      -\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\   \end{array} \right] ,接下来求解U
2、 AA^T=\left[   \begin{array}{ccc}     4 & 4\\     -3 & 3\\   \end{array} \right]\left[   \begin{array}{ccc}     4 & -3\\     4 & 3\\   \end{array} \right] = \left[   \begin{array}{ccc}    32& 0\\     0 & 18\\   \end{array} \right] 得相同的: \lambda_{1}=32,\lambda_{2}=18 特征向量为: \left[   \begin{array}{ccc}    1\\0   \end{array} \right],\left[   \begin{array}{ccc}    0\\     1\\   \end{array} \right] 解得 A=\left[   \begin{array}{ccc}     4 & 4\\     -3 & 3\\   \end{array} \right]=\left[   \begin{array}{ccc}     1 & 0\\     0 & 1\\   \end{array} \right]\left[   \begin{array}{ccc}     \sqrt{32} & 0\\     0&\sqrt{18}\\   \end{array} \right]\left[   \begin{array}{ccc}     \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\      -\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\   \end{array} \right] ,验证成功。
例题2: A=\left[   \begin{array}{ccc}     4 & 3\\     8 & 6\\   \end{array} \right]
因为是奇异的,该矩阵的行空间是一直线,行空间是 A=\left[   \begin{array}{ccc}     4 \\   3\\   \end{array} \right] 的倍数,列空间是 A=\left[   \begin{array}{ccc}     4\\     8\\   \end{array} \right] 的倍数,零空间如下图:(V,U都需单位化,而且是一维的,算起来还算简单。)

麻省理工学院 第2张图片
v_{1}=\left[   \begin{array}{ccc}     0.8 \\     0.6 \\   \end{array} \right]  u_{1}=\frac{1}{\sqrt{5}}\left[   \begin{array}{ccc}     1 \\     2 \\   \end{array} \right]
AA^T= \left[   \begin{array}{ccc}     4 & 3\\     8 & 6\\   \end{array} \right]\left[   \begin{array}{ccc}     4 & 8\\     3 & 6\\   \end{array} \right]=\left[   \begin{array}{ccc}      25& 50\\     50 & 100\\   \end{array} \right] 奇异矩阵则 \lambda_{1}=0 , \lambda_2=125
A=U\Sigma V^T = \frac{1}{ \sqrt{5}}\left[   \begin{array}{ccc}     1& 2\\     2 & -1\\   \end{array} \right]\left[   \begin{array}{ccc}     \sqrt{125} & 0\\     0 & 0\\   \end{array} \right]\left[   \begin{array}{ccc}     0.8 & 0.6\\     0.6 & -0.8\\   \end{array} \right]
在以上这个矩阵中,如果行、列空间中没法找到正交矩阵,就需要从零空间去找。 \left[   \begin{array}{ccc}     2 \\     -1 \\   \end{array} \right] 是 N(A^T) 中的向量, \left[   \begin{array}{ccc}     0.6 \\-0.8 \\   \end{array} \right] 是 N(A)  中的向量。起主要作用的是行空间的第一列,和列空间的第一行。
在线性的代数中的四个子空间中找到合适的基:
1、 v_{1},...,v_{r} 是行空间的标准正交基,例题2中的 v_{1}=\left[   \begin{array}{ccc}     0.8 \\     0.6 \\   \end{array} \right]
2、 u_{1},...,u_{r} 是列空间的标准正交基,例题2中的 u_{1}=\frac{1}{\sqrt{5}}\left[   \begin{array}{ccc}     1 \\     2 \\   \end{array} \right]
3、 v_{r+1},...v_{n} 是零空间的标准正交基,例题2中的 v_{2=}\left[   \begin{array}{ccc}     0.6 \\-0.8 \\   \end{array} \right]
4、 u_{r+1},...u_{n} 是左零空间的标准正交基,例题2中的 u_{2} =\left[   \begin{array}{ccc}     2 \\     -1 \\   \end{array} \right]
从公式 Av_{I}=\sigma_{I} u_{i} 中有能看出来, A 乘以每一个 v 都在相应的 u 的空间里,因此它们是这四个基本子空间的合适的基。


上一篇:中国为啥做不出OpenAI?
下一篇:如何评价美国电影《波士顿绞杀手》?
@



1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义,请点击“举报”按钮,其他联系方式或无法及时处理。
 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

排行榜
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-3-28 18:05