标准正交基

研究矩阵的秩的时候，我们发现 $n$ 维空间 $\mathbb{F}^n$ 中任意 $n$ 个线性无关的向量都是该空间的一组基，空间中的任何向量都可以写成基向量的线性组合。为了方便研究问题，我们通常会精心挑选基向量，让它们两两之间都是相互垂直的，也就是所谓的正交。比如为了研究三维空间中的一些几何特性，我们会建立一个直角坐标系，x-y-z 三个坐标轴，也就是所谓的基向量，都是相互垂直的。二维、三维的空间都比较直观，那么扩展到 $n$ 维空间中，基向量需要具有什么性质，才可以被称为直角坐标系呢？

1. 基与坐标

让我们来考虑数域 $\mathfrak{F}$ 的两个线性空间 $\mathbb{U}, \mathbb{V}$，假设 $\mathcal{A}$ 是从 $\mathbb{U}$ 到 $\mathbb{V}$ 的映射。如果映射 $\mathcal{A}: \mathbb{U} \mapsto \mathbb{V}$ 满足如下两个条件:

对于任意两个向量 $\boldsymbol{\alpha}_1, \boldsymbol{\alpha}_2 \in \mathbb{U}$，都有 $\mathcal{A}(\boldsymbol{\alpha}_1 + \boldsymbol{\alpha}_2) = \mathcal{A}(\boldsymbol{\alpha}_1) + \mathcal{A}(\boldsymbol{\alpha}_2)$。
对于任意向量 $\boldsymbol{\alpha} \in \mathbb{U}, \lambda \in \mathfrak{F}$，都有 $\mathcal{A}(\lambda \boldsymbol{a}) = \lambda \mathcal{A}(\boldsymbol{a})$。

我们就说映射 $\mathcal{A}$ 是 $\mathbb{U}$ 到 $\mathbb{V}$ 的线性映射(linear mapping)。当$\mathbb{U} = \mathbb{V}$ 时，映射 $\mathcal{A}: \mathbb{V} \mapsto \mathbb{V}$ 被称为 $\mathbb{V}$ 的线性变换(linear transformation)。对于线性映射 $\mathcal{A}$，如果向量 $\boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n$ 线性相关，那么它们的投影 $\mathcal{A}(\boldsymbol{\alpha}_1), \cdots, \mathcal{A}(\boldsymbol{\alpha}_n)$ 也是线性相关的。如果 $\mathcal{A}(\boldsymbol{\alpha}_1), \cdots, \mathcal{A}(\boldsymbol{\alpha}_n)$ 线性无关，那么向量 $\boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n$ 也是线性无关的。并且，线性变换 $\mathcal{A}$ 前后线性组合关系式一样，即， $\mathcal{A}(\lambda_1 \boldsymbol{\alpha}_1 + \cdots + \lambda_n \boldsymbol{\alpha}_n) = \lambda_1\mathcal{A}(\boldsymbol{\alpha}_1) + \cdots + \lambda_n \mathcal{A}(\boldsymbol{\alpha}_n)$。

假设$\boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n$ 是 $n$ 维线性空间 $\mathbb{U}$ 的一组基，记为 $M_U$。那么 $\mathbb{U}$ 中的任意一个向量都可以写成这组基向量的线性组合 $\boldsymbol{\alpha} = x_1 \boldsymbol{\alpha}_1 + \cdots + x_n \boldsymbol{\alpha}_n$。基向量 $\boldsymbol{\alpha}_i$的系数 $x_i$ 可以写成列向量的形式 $\boldsymbol{x} = \begin{bmatrix} x_1 & \cdots & x_n\end{bmatrix}^T$。向量 $\boldsymbol{x}$ 就是 $\boldsymbol{\alpha}$ 在基 $M_U$ 下的坐标。在给定基向量的情况下 $\boldsymbol{x}$ 就可以唯一的代表 $\boldsymbol{\alpha}$。如果存在线性映射 $\mathcal{A}: \mathbb{U} \mapsto \mathbb{V}$ 将 $\boldsymbol{\alpha}$ 映射为 $m$ 维线性空间 $\mathbb{V}$ 中的向量 $\boldsymbol{\beta}$。取 $\mathbb{V}$ 的一组基 $M_V = \{\boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_m\}$，那么 $\boldsymbol{\beta}$ 可以写成 $\boldsymbol{\beta} = y_1\boldsymbol{\beta}_1 + \cdots + y_m\boldsymbol{\beta}_m$，其在基 $M_V$ 下的坐标为 $\begin{bmatrix} y_1 & \cdots & y_m \end{bmatrix}^T$。根据线性映射的性质，我们有

$$ \mathcal{A}(\boldsymbol{\alpha}) = \mathcal{A}(\boldsymbol{\alpha}_1 + \cdots + \boldsymbol{\alpha}_n) = x_1\mathcal{A}(\boldsymbol{\alpha}_1) + \cdots + x_n \mathcal{A}(\boldsymbol{\alpha}_n) $$

记 $\boldsymbol{A}_i$ 为向量 $\mathcal{A}(\boldsymbol{\alpha}_i)$ 在基 $M_V$ 下的坐标。我们就可以写出如下的关系式:

$$ \begin{bmatrix} \boldsymbol{\beta}_1 & \cdots & \boldsymbol{\beta}_m\end{bmatrix} \begin{bmatrix} y_1 \\ \vdots \\ y_m \end{bmatrix} = x_1(\begin{bmatrix} \boldsymbol{\beta}_1 & \cdots & \boldsymbol{\beta}_m\end{bmatrix} \boldsymbol{A}_1) + \cdots + x_n(\begin{bmatrix} \boldsymbol{\beta}_1 & \cdots & \boldsymbol{\beta}_m\end{bmatrix} \boldsymbol{A}_n) = \begin{bmatrix}(\begin{bmatrix} \boldsymbol{\beta}_1 \cdots \boldsymbol{\beta}_m\end{bmatrix} \boldsymbol{A}_1) & \cdots & (\begin{bmatrix} \boldsymbol{\beta}_1 \cdots \boldsymbol{\beta}_m\end{bmatrix} \boldsymbol{A}_n)\end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} $$

所以坐标向量 $\boldsymbol{x},\boldsymbol{y}$ 之间存在如下的映射关系:

$$ \begin{equation}\label{f1} \begin{bmatrix} y_1 \\ \vdots \\ y_m \end{bmatrix} = \begin{bmatrix} \boldsymbol{A}_1 & \cdots & \boldsymbol{A}_n \end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} \Longrightarrow \boldsymbol{y} = \boldsymbol{A} \boldsymbol{x} \end{equation} $$

我们称上述 $\boldsymbol{y} = \boldsymbol{A} \boldsymbol{x}$ 为线性映射 $\mathcal{A}$ 在基 $M_U$ 和 $M_V$ 下的坐标表示。假设 $\mathbb{V}$ 是数域 $\mathfrak{F}$ 上的线性空间，$M_1 = \{\boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n\}$, $M_2 = \{\boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n\}$ 该空间中的两组基，如果我们将 $M_1$ 中的每个基向量 $\boldsymbol{\alpha}_j$ 在基 $M_2$ 中的坐标写成列向量的形式， $\boldsymbol{A}_j = \begin{bmatrix} a_{1j} \\ \vdots \\ a_{nj}\end{bmatrix}$，并依次排列成矩阵 $\boldsymbol{A} = \begin{bmatrix} \boldsymbol{A}_1 & \cdots & \boldsymbol{A}_n \end{bmatrix}$，称之为基 $M_2$ 到 $M_1$ 的过渡矩阵，可以写成等式:

$$ \begin{equation}\label{f2} \begin{bmatrix} \boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n \end{bmatrix} = \begin{bmatrix} \boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n \end{bmatrix} \boldsymbol{A} \end{equation} $$

上式被称为基变换公式。其中 $ \boldsymbol{\alpha}_j = \begin{bmatrix} \boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n \end{bmatrix} \boldsymbol{P}_j = p_{1j} \boldsymbol{\beta}_1 + \cdots + p_{nj} \boldsymbol{\beta}_n $。对于同一个线性空间中的两组基之间的线性变换，式($\ref{f1}$)就是其坐标变换公式。同一个线性空间中的两组基之间的过渡矩阵是可逆的。也就是说有 $\boldsymbol{A}$ 的逆 $\boldsymbol{A}^{-1}$ 是基 $M_1$ 到 $M_2$ 的过渡矩阵:

$$ \begin{bmatrix} \boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n \end{bmatrix} = \begin{bmatrix} \boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n \end{bmatrix} \boldsymbol{A}^{-1} $$

选取一组基之后，可以将线性空间中的向量用坐标来表示，线性空间之间的线性映射用矩阵来表示。基的选择不同，相同的向量和映射方式得到的坐标和矩阵都是不一样的。假设有线性映射 $\mathcal{A}: \mathbb{U} \mapsto \mathbb{V}$，在 $\mathbb{U}$ 的基 $M_1$ 和 $\mathbb{V}$ 的基 $N_1$ 下的矩阵为 $\boldsymbol{A}$，在 $\mathbb{U}$ 的基 $M_2$ 和 $\mathbb{V}$ 的基 $N_2$ 下的矩阵为 $\boldsymbol{B}$。我们来研究一下 $\boldsymbol{A}, \boldsymbol{B}$ 之间的关系。

不妨设，$M_1$ 到 $M_2$ 的过渡矩阵为 $\boldsymbol{P}$，$N_1$ 到 $N_2$ 的过渡矩阵为 $\boldsymbol{Q}$。向量 $\alpha \in \mathbb{U}$ 在基$M_1$ 和 $M_2$下的坐标分别为 $\boldsymbol{X}$ 和 $\boldsymbol{x}$。向量 $\beta \in \mathbb{V}$ 在基$N_1$ 和 $N_2$下的坐标分别为 $\boldsymbol{Y}$ 和 $\boldsymbol{y}$。那么有坐标变换关系 $\boldsymbol{X} = \boldsymbol{P}\boldsymbol{x}, \boldsymbol{Y} = \boldsymbol{Q}\boldsymbol{y}$。由于 $\boldsymbol{A}$ 是 $\mathcal{A}$ 在 $M_1, N_1$ 下的矩阵，有 $\boldsymbol{Y} = \boldsymbol{A}\boldsymbol{X}$。因此，有 $\boldsymbol{Q}\boldsymbol{y} = \boldsymbol{A}\boldsymbol{P}\boldsymbol{x}$，即，$\boldsymbol{y} = \boldsymbol{Q}^{-1}\boldsymbol{A}\boldsymbol{P}\boldsymbol{x}$。又因为 $\boldsymbol{B}$ 是 $\mathcal{A}$ 在 $M_2, N_2$ 下的矩阵，有 $\boldsymbol{y} = \boldsymbol{B}\boldsymbol{x}$，所以有 $$ \boldsymbol{B} = \boldsymbol{Q}^{-1}\boldsymbol{A}\boldsymbol{P} $$

2. 向量的内积

内积是一种运算规则。假设 $\mathbb{V}$ 是数域 $\mathfrak{F}$ 上的线性空间，如果一个二元函数能将该空间中的任意两个向量 $\boldsymbol{\alpha}, \boldsymbol{\beta}$ 映射到一个标量 $\boldsymbol{\alpha} \cdot \boldsymbol{\beta} = v \in \mathfrak{F}$，并且满足如下性质的运算，我们称之为向量的内积。

线性: 对任意的 $\boldsymbol{\alpha}_1, \boldsymbol{\alpha}_2, \boldsymbol{\beta} \in \mathbb{V}, \lambda \in \mathfrak{F}$，都有 $ (\boldsymbol{\alpha}_1 + \boldsymbol{\alpha}_2) \cdot \boldsymbol{\beta} = \boldsymbol{\alpha}_1 \cdot \boldsymbol{\beta} + \boldsymbol{\alpha}_2 \cdot \boldsymbol{\beta}, \qquad (\lambda \boldsymbol{\alpha}_1) \cdot \boldsymbol{\beta} = \lambda (\boldsymbol{\alpha}_1 \cdot \boldsymbol{\beta}), \qquad $
对称性: $\boldsymbol{\alpha} \cdot \boldsymbol{\beta} = \boldsymbol{\beta} \cdot \boldsymbol{\alpha}$
正定性: 对于任意 $\boldsymbol{\alpha} \ne \boldsymbol{0}$ 都有 $\boldsymbol{\alpha} \cdot \boldsymbol{\alpha} > 0$

内积运算可以有很多种形式，最常见的一种是两向量坐标对应元素分别相乘然后求和，这是形式的内积运算被称为标准内积(standard inner product)。形式化描述就是，假设两个向量在自然基下的坐标为 $\boldsymbol{X} = \begin{bmatrix} x_1, \cdots, x_n \end{bmatrix}^{-1}$, $\boldsymbol{Y} = \begin{bmatrix} y_1, \cdots, y_n \end{bmatrix}^{-1}$。那么它们的内积就是 $\boldsymbol{X} \cdot \boldsymbol{Y} = x_1 y_1 + \cdots + x_n y_n$。一般的，对于线性空间 $\mathbb{V}$ 中的一组基 $M = \{\boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n\}$，假设 $\boldsymbol{x}, \boldsymbol{y}$ 在这组基下的坐标分别为 $$ \boldsymbol{x} = \left(x_1, \cdots, x_n\right)^T, \qquad \boldsymbol{y} = \left(y_1, \cdots, y_n\right)^T $$ 则 $$ \boldsymbol{x} \cdot \boldsymbol{y} = \left(\sum_{i=1}^n x_i \boldsymbol{\alpha}_i\right) \cdot \left(\sum_{j=1}^n y_j \boldsymbol{\alpha}_j\right) = \sum_{i=1}^n x_i \sum_{j=1}^n y_i \boldsymbol{\alpha}_i \cdot \boldsymbol{\alpha}_j = \boldsymbol{x}^T \boldsymbol{S} \boldsymbol{y} $$ 其中 $$ \boldsymbol{S} = \begin{bmatrix} \boldsymbol{\alpha}_1 \cdot \boldsymbol{\alpha}_1 & \boldsymbol{\alpha}_1 \cdot \boldsymbol{\alpha}_2 & \cdots & \boldsymbol{\alpha}_1 \cdot \boldsymbol{\alpha}_n \\ \boldsymbol{\alpha}_2 \cdot \boldsymbol{\alpha}_1 & \boldsymbol{\alpha}_2 \cdot \boldsymbol{\alpha}_2 & \cdots & \boldsymbol{\alpha}_2 \cdot \boldsymbol{\alpha}_n \\ \vdots & \vdots & \ddots & \vdots \\ \boldsymbol{\alpha}_n \cdot \boldsymbol{\alpha}_1 & \boldsymbol{\alpha}_n \cdot \boldsymbol{\alpha}_2 & \cdots & \boldsymbol{\alpha}_n \cdot \boldsymbol{\alpha}_n \\ \end{bmatrix} $$ $\boldsymbol{S}$ 是基 $M$ 中的向量两两内积构成的矩阵，称之为内积 $\boldsymbol{x} \cdot \boldsymbol{y}$ 在基 $M$ 下的度量矩阵(metric matrix)，也称为 Gram 矩阵。它是一个对称的正定矩阵。

特别的，如果两个向量 $\boldsymbol{x}, \boldsymbol{y}$ 的内积为零，$\boldsymbol{x} \cdot \boldsymbol{y} = 0$，那么我们就说这两个向量正交，记为 $\boldsymbol{x} \perp \boldsymbol{y}$。如果基 $M$ 中的向量两两正交，我们称这组基为正交基，如果基向量是单位长度的，那么这组基的度量矩阵就是一个单位阵，这样的基就是所谓的标准正交基。

3. Gram-Schmidt 正交化

对于空间 $\mathbb{V}$ 中的一组基 $M_1 = \left\{ \boldsymbol{\alpha}_1, \cdots, \boldsymbol{\alpha}_n \right\}$，我们都可以通过 Gram-Schmidt 正交化方法将其变换成一个正交基 $M_2 = \left\{\boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n\right\}$。

首先取 $\boldsymbol{\beta}_1 = \boldsymbol{\alpha}_1$。然后选择系数 $\lambda_2$，使得 $\boldsymbol{\beta}_2 = \boldsymbol{\alpha}_2 - \lambda_2 \boldsymbol{\alpha}_1$ 与 $\boldsymbol{\beta}_1$ 正交。即 $$ \boldsymbol{\beta}_2 \cdot \boldsymbol{\beta}_1 = \left(\boldsymbol{\alpha}_2 - \lambda_2 \boldsymbol{\alpha}_1\right) \cdot \boldsymbol{\alpha}_1 = \boldsymbol{\alpha}_2 \cdot \boldsymbol{\alpha}_1 - \lambda_2 \boldsymbol{\alpha}_1 \cdot \boldsymbol{\alpha}_1 = 0 \Longrightarrow \lambda_2 = \frac{\boldsymbol{\alpha}_2 \cdot \boldsymbol{\alpha}_1}{\boldsymbol{\alpha}_1 \cdot \boldsymbol{\alpha}_1} = \frac{\boldsymbol{\alpha}_2 \cdot \boldsymbol{\beta}_1}{\boldsymbol{\beta}_1 \cdot \boldsymbol{\beta}_1} $$ 对于 $2 < k ≤ n$，我们都可以通过 $\boldsymbol{\alpha}_k - \sum_{i=2}^{k} \frac{\boldsymbol{\alpha}_k \cdot \boldsymbol{\beta}_i}{\boldsymbol{\beta}_i\boldsymbol{\beta}_i}\boldsymbol{\beta}_i$ 构造出 $\boldsymbol{\beta}_k$ 与 $\boldsymbol{\beta}_1 \cdots \boldsymbol{\beta}_{k-1}$ 都正交。如此可以得到一组正交基$M_2 = \left\{\boldsymbol{\beta}_1, \cdots, \boldsymbol{\beta}_n\right\}$。如果我们再对 $M_2$ 中的每个向量单位化，即，令 $\boldsymbol{\gamma}_i = \boldsymbol{\beta}_i / |\boldsymbol{\beta}_i|$，那么就可以得到一组单位正交基 $M_3 = \left\{ \boldsymbol{\gamma}_1, \cdots, \boldsymbol{\gamma}_n\right\}$。

我们在 XiaoTuMathBox 的函数 GramSchmidt 中实现了该算法。

标准正交基

1. 基与坐标

2. 向量的内积

3. Gram-Schmidt 正交化

4. 完