范数在深度学习中的应用

算子范数那一节实在是有点长，写的我也很痛苦。这一课说点简单轻松的。

我其实有点怀疑矩阵理论这门课就是在讲证明。所以这一课虽然叫范数的应用，你以为就会

有真的应用题让你算吗？想多了！

好了，不扯淡了，我们下面介绍一下这节课想要解决什么问题。

如图，我们看到，对一个矩阵求逆，在增加了微小扰动之后误差竟然能够相差近60万。可见，

对一个矩阵求逆矩阵，误差对其影响是很大的，一个矩阵的逆矩阵对误差是非常敏感的。我们

知道在实际工程应用中，误差是不可避免的。如果任意一个微小的误差都会对结果产生具体的

影响，那么这个计算结果显然是不可信的。我们在工程应用中应当尽力避免这种现象。因此，

我们需要研究对一个矩阵求逆矩阵的时候误差对其的影响。而这，就是我们本节课所要讨论的

主题。

矩阵逆的摄动

摄动就是微小扰动的意思，我们先来引入条件数的概念。

为了书写方便，有的时候会略下标p,我们接下来会看到，条件数 K_p(A) 给出了由于摄动而引

起结果变化的敏感度的度量。

我们下面给出具体证明：

通常情况下，我们证明一个矩阵可逆，要么行列式不等于0，要么证明满秩。但本定理的证明

略显不同，通过范数来证明可逆。其实范数是个数临证应用，而矩阵的行列式也是一个数，所以我们可

以近似的说他们具有一致关系。下面的用范数的证明思路和行列式的证明思路大致一致。

类似的由于 E+A=E-(-A) 所以，它也是可逆的。

我们下面介绍几个定理：

我们来解释一下（2）。不等式左边的分子部分是 A^{-1} 的绝对误差，而整体可以看成是 A^{-1}

的相对误差。K(A)是矩阵A的条件数。从这个性质我们可以看出，当K(A)越大的时候， A^{-1} 的

相对误差就会越大。这也就是为什么我们说K(A)是敏感度的度量。条件数小的时候，矩阵求逆

的误差不会很大，而当条件数大的时候，矩阵求逆的误差就会很大了。

矩阵的摄动

同定理2类似的，我们这里给出线性方程组误差的度量。当K(A)较大的时候，方程组的解x对于误差敏感（因为 x=A^{-1}b ，用到了矩阵的求逆）。接下来我们看一个具体的例子：

古人讲，失之毫厘谬以千里。实际应用中的确需要引以警示。

定理3是关于A精确，b有误差的情况，那么当b精确，A有误差又是什么情况呢？我们有下面定理：

实际工程中的真实情况是A有误差，b也有误差，其定理如下：

（编辑：92站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!