线性代数
序言。
第一部分：线性方程组
| 线性方程组和矩阵的定义 | 本文中，我们从线性方程组开始引入矩阵的概念，同时介绍求解线性方程组的一般方法 Gauss-Jordan 消元法。 并提供了例程 GaussJordanEliminate。 |
| 高斯消元法与 LU 分解 | 本文进一步讨论线性方程组的求解方法。介绍实际的工程代码中更为常用的 LU 分解。 我们定义了一个模板类 LU来将矩阵 \(\boldsymbol{A}\) 分解成一个下三角和一个上三角矩阵，同时提供了成员函数用于求解方程组和原矩阵的逆。 |
| 对称正定矩阵的分解 | 如果一个矩阵是对称且正定的，那么可以将其唯一的分解成一个下三角矩阵和它的转置相乘的形式 \(\boldsymbol{L}\boldsymbol{L}^T\)， 即 Cholesky 分解。它还有一种常用的改进形式，将矩阵\(\boldsymbol{A}\)分解成 \(\boldsymbol{L}\boldsymbol{D}\boldsymbol{L}^T\)的形式。 对应提供了类Cholesky 和类LDLT。 |
第二部分：线性空间
| 秩 | 在前文中，我们从n元线性方程出发引入了矩阵的概念。 介绍了高斯消元法、LU分解等用于求解方程组的方法。 但如果有效的方程数量比未知数少，就不能通过这些方法求解。秩可以用来描述方程组中实际有效的方程数量。 函数 GaussRowEliminate 通过高斯消元法计算最大线性无关列向量组。 |
| 线性方程组的解空间 | 齐次线性方程组, \(\boldsymbol{A}\boldsymbol{x} = \boldsymbol{0}\)，的解构成了一个对加法和数乘封闭的空间，既解空间。 一般的线性方程组的解则是对应齐次线性方程组的解空间再加上一个偏移向量构成的。 函数 SolveSpace 用于求齐次线性方程组解空间。 |
| 标准正交基 | \(n\) 维空间 \(\mathbb{F}^n\) 中任意 \(n\) 个线性无关的向量都是该空间的一组基。 为了方便研究问题，我们通常会精心挑选基向量，让它们两两之间都是相互垂直的，也就是所谓的正交。 算法 Gram-Schmidt 可以将任意一组基正交化。 |
| QR 分解 | 所谓的 QR 分解 \(\boldsymbol{A} = \boldsymbol{Q}\boldsymbol{R}\)是指将矩阵 \(\boldsymbol{A}\) 分解成一个正交矩阵 \(\boldsymbol{Q}\) 和一个上三角矩阵\(\boldsymbol{R}\)的积。如果矩阵 \(\boldsymbol{A}\) 可逆，并且矩阵\(\boldsymbol{R}\)的对角线元素为正数，那么该分解就是惟一的。 QR_GramSchmidt， QR_Householder。 |
第三部分：特征值与特征向量
| 特征值与特征向量 | 对于矩阵 \(\boldsymbol{A}\)，如果 \(\boldsymbol{A}\boldsymbol{X} = \lambda\boldsymbol{X}\) 对于某个非零向量 \(\boldsymbol{X}\) 成立，就称 \(\lambda\) 为矩阵\(\boldsymbol{A}\)的特征值，\(\boldsymbol{X}\) 是属于特征值 \(\lambda\) 的特征向量。 根据特征值是相似不变的这一特性，人们发明了一种通用特征值解法 QR 算法。 EigenNaiveQR。 |
| 幂法与逆幂法 | 幂法会收敛到绝对值最大的那个特征值上，逆幂法则收敛到绝对值最小的那个特征值上。带偏移量的逆幂法则会收敛到最接近偏移量的那个特征值上。 PowerIterate, InversePowerIterate, OffInvPowerIterate |
| QR算法的收敛原理 | 当我看到异常简洁的QR算法后，就对它的收敛原理产生了极大的兴趣。 这两天在网上一顿搜索之后，遇见了潘建瑜老师的矩阵计算， 讲解深入浅出，解答了我的疑惑。 |
| 隐式QR迭代算法 | 。 |
第四部分：奇异值分解(Singular Value Decomposition, SVD)
| 奇异值分解 SVD | 。 |
第x部分：二次型
| 正定矩阵的二次型 | 。 |