期末复习。

03内积和正交性.tex

@@ -230,6 +230,8 @@
     给定矩阵$A$，其列空间上的正交投影的表示矩阵$P_{\columnspace{A}}$，称为关于$A$的正交投影矩阵，简记为$P_A$。
 \end{definition}
 
+正交化的过程是复杂的。对一般的$A$，如果$A\trans A$是可逆的，那么$P_A = A(A\trans A)\revmat A\trans$。如果$A\trans A$不可逆，那么取$A$列的最大线性无关部分组$B$，$P_A = P_B = B(B\trans B)\revmat B\trans$。
+
 \begin{proposition}
     给定$n$阶方阵$P$，则$P$是正交投影矩阵，当且仅当$P^2 = P\trans = P$。
 \end{proposition}

05特征值和特征向量.tex

@@ -0,0 +1,222 @@
+\chapter{特征值和特征向量}
+\section{引子}
+\begin{theorem}[代数学基本定理]
+    复系数一元$n$次多项式在$\complexnum$上至少有一个根。
+\end{theorem}
+
+\begin{corollary}
+    复系数一元$n$次多项式$p(x)$，在$\complexnum$上恰好有$n$个根（可能相同），即存在因式分解$p(x) = a_0(x- x_1)^{n_1} (x - x_2)^{n_2}\dots (x - x_s)^{n_s}$，其中$n_1 + n_2 + \dots + n_s  = n$。
+
+    在上述因式分解中，$n_i$称为复根$x_i$的重数，$x_i$称为$p(x)$的$n_i$重根。
+\end{corollary}
+
+\begin{theorem}[Vieta定理]
+    复系数一元$n$次多项式$p(x) = a_0x^n + a_1x^{n-1} + \dots + a_n$的$n$个根（计重数）$x_1, x_2, \dots, x_n$满足：
+    \begin{align*}
+        -\frac{a_1}{a_0} & = x_1 + x_2 + \dots + x_n,\\
+        & ~ \vdots\\
+        (-1)^k \frac{a_k}{a_0} & = \sum_{1 \leq i_1 < \dots < i_k \leq n} x_{i_1}x_{i_2}\dots x_{i_k},\\
+        & ~ \vdots\\
+        (-1)^n \frac{a_n}{a_0} & = x_1 x_2 \dots x_n\eqper
+    \end{align*}
+\end{theorem}
+
+如果不加特别说明，本章将出现的矩阵都是复矩阵。
+
+\section{基本概念}
+\begin{definition}[特征值]
+    给定$n$阶方阵$A$，如果对$\lambda \in \complexnum$，存在非零向量$\bvec{x} \in \complexnum^n$，使得$A\bvec{x} = \lambda \bvec{x}$，则称$\lambda$为方阵$A$（在$\complexnum$上）得一个特征值，而称非零向量$\bvec{x}$为方阵$A$（在$\complexnum$上）得一个属于特征值$\lambda$的特征向量。
+
+    二元组$(\lambda, \bvec{x})$常称为方阵$A$的一个特征对。
+
+    特别地，对实方阵$A$，如果特征对$(\lambda, \bvec{x})$满足$\lambda \in \realnum, \bvec{x} \in \realnum^n$，则分别称二者为$A$在$\realnum$上的特征值和特征向量，称该二元组为$A$在$\realnum$上的特征对。
+\end{definition}
+
+\begin{proposition}
+    数$\lambda_0$是$A$的特征值，当且仅当$\det(\lambda_0 I_n - A) = 0$特别地，$0$是$A$的特征值当且仅当$A$不可逆。
+\end{proposition}
+
+\begin{definition}
+    多项式
+    \[p_A(\lambda) := \det(\lambda I_n - A) = 
+    \begin{vmatrix}
+        \lambda - a_{11} & - a_{12} & \cdots & -a_{1n}\\
+        -a_{21} & \lambda - a_{22} & \ddots & \vdots\\
+        \vdots & \ddots & \ddots & -a_{n-1,n}\\
+        -a_{n1} & -a_{n2} & \cdots & \lambda - a_{nn}
+    \end{vmatrix}\]
+    称为矩阵$A$的特征多项式。
+\end{definition}
+
+\begin{theorem}
+    设$n$阶方阵$A$的特征多项式为$p_A(\lambda)$，那么：
+    \begin{enumerate}
+        \item 数$\lambda_0$是$A$的特征值，当且仅当$p_A(\lambda_0) = 0$，即$\lambda_0$是特征多项式$p_A(\lambda)$的根。
+        \item 向量$\bvec{x}_0 \in \complexnum^n$是$A$的属于$\lambda_0$的特征向量，当且仅当$\bvec{x}_0 \in \nullspace{\lambda_0 I_n - A}$且$\bvec{x}_0 \neq 0$，即$\bvec{x}_0$是$\lambda_0 I_n - A$的零空间中的非零向量。
+    \end{enumerate}
+\end{theorem}
+
+\begin{proposition}
+    上（下）三角矩阵的全部特征值就是其所有对角元素。
+\end{proposition}
+
+\begin{theorem}[Gershgorin圆盘定理]
+    对矩阵
+    \(A = \begin{bmatrix}
+        a_{ij}
+    \end{bmatrix}_{n \times n}\)，
+    定义如下$n$个圆盘
+    \[G_i(A) := \left\{z \bigg| \abs{z - a_{ii}} \leq \sum_{j \neq i} \abs{a_{ij}}\right\}\eqco\]
+    那么矩阵的任意特征值$\lambda$一定落在某个圆盘中。因此，矩阵的全部特征值一定落在这$n$个圆盘中。
+\end{theorem}
+
+\begin{definition}[代数重数]
+    给定$n$阶方阵$A$及$A$的一个特征值$\lambda_0 \in \complexnum$，如果$\lambda_0$是特征多项式$p_A(\lambda)$的$n_0$重根，则称$n_0$为$\lambda_0$作为$A$的特征值的代数重数（简称重数），称$\lambda_0$是$A$的一个$n_0$重特征值。
+
+    一个1重特征值，又称为单特征值。
+\end{definition}
+
+\begin{proposition}
+    给定$n$阶实方阵$A$，如果$\lambda_0$是它的一个非实数特征值，则$\overline{\lambda}_0$也是它的特征值，且其代数重数和$\lambda_0$的代数重数相等。进一步地，如果复向量$\bvec{x}_0$是属于$\lambda_0$的特征向量，则$\overline{\bvec{x}}_0$是属于$\overline{\lambda}_0$的特征向量。
+\end{proposition}
+
+\begin{proposition}
+    给定$n$阶方阵$A$，其特征多项式具有如下形式：
+    \[p_A(\lambda) = \lambda^n - \trace(A) \lambda^{n-1} + \dots + (-1)^n \det(A)\eqper\]
+\end{proposition}
+
+\section{对角化和谱分解}
+如果线性空间存在一组基$\bvec{x}_1, \bvec{x}_2,\dots, \bvec{x}_n$，且基向量$\bvec{x}_i(i = 1, 2, \dots, n)$是矩阵$A$的属于$\lambda_i$的特征向量，那么$A$可以写作$A + X\varLambda X\revmat$，其中
+\(X = \begin{bmatrix}
+    \bvec{x}_1 & \bvec{x}_2 & \dots & \bvec{x}_n
+\end{bmatrix}\)，
+$\varLambda = \diag(\lambda_1, \lambda_2, \dots, \lambda_n)$。
+
+\begin{definition}[谱分解]
+    对方阵$A$，如果存在可逆矩阵$X$使得$X\revmat A X = \varLambda$是对焦矩阵，则称$A$是（在$\complexnum$上）可对角化的，$X$把$A$对角化，或$X$对角化$A$。
+
+    如果方阵$A, X, \varLambda$都是实矩阵，则称$A$在$\realnum$上可对角化。
+
+    当$A$可对角化，分解$A = X \varLambda X\revmat$称为$A$的谱分解。
+\end{definition}
+
+\begin{proposition}
+    对$n$阶方阵$A$，$A$可对角化，当且仅当$A$有$n$个线性无关的特征向量。
+\end{proposition}
+
+\begin{proposition}
+    方阵的属于不同特征值的特征向量线性无关。
+\end{proposition}
+
+\begin{corollary}
+    有$n$个不同特征值的$n$阶方阵，即特征值都是单特征值的方阵，可对角化。
+\end{corollary}
+
+\begin{definition}[几何重数]
+    给定$n$阶方阵$A$及其特征值$\lambda_0$，称特征子空间$\nullspace{\lambda_0I_n - A}$的维数为$\lambda_0$作为$A$的特征值的几何重数。
+\end{definition}
+
+\begin{proposition}
+    方阵的特征值的几何重数不大于其代数重数。
+\end{proposition}
+
+\begin{definition}
+    几何重数和代数重数相等的特征值，称为半单特征值。几何重数小于代数重数的特征值，称为亏损特征值。
+\end{definition}
+
+\begin{theorem}
+    \begin{enumerate}
+        \item $n$阶方阵$A$可对角化，当且仅当其特征值都半单。
+        \item $n$阶是方阵$A$在$\realnum$上可对角化，当且仅当其特征多项式的根都是实根，且其特征值都半单。
+    \end{enumerate}
+\end{theorem}
+
+\begin{proposition}
+    设分块对角矩阵
+    \(A = \begin{bmatrix}
+        A_1 & & & \\
+        & A_2 & & \\
+        & & \ddots & \\
+        & & & A_r
+    \end{bmatrix}\)，
+    其中$A_i, i = 1, 2, \dots, r$都是方阵，则$A$可对角化当且仅当所有的$A_i$都可对角化。
+\end{proposition}
+
+\begin{example}
+    将$A$对角化。
+\end{example}
+\begin{enumerate}
+    \item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。
+    \item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。
+    \item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令
+    \[X = \begin{bmatrix}
+        \bvec{x}_{1,1} & \cdots & \bvec{x}_{1,r_1} & \bvec{x}_{2,1} & \cdots & \bvec{x}_{2, r_2} & \cdots & \bvec{x}_{k,1} & \cdots & \bvec{x}_{k, r_k}
+    \end{bmatrix}\]
+    \[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\]
+    则有$A = X\varLambda X\revmat$。
+\end{enumerate}
+
+\section{相似}
+\begin{definition}[相似]
+    对方阵$A, B$，如果存在可逆矩阵$X$使得$X\revmat A X = B$，则称$A$和$B$相似，或$A$相似于$B$。
+\end{definition}
+
+\begin{proposition}
+    方阵的相似关系是等价关系。
+\end{proposition}
+
+\begin{proposition}
+    方阵的相似关系有如下不变量：
+    \begin{enumerate}
+        \item 秩；
+        \item 特征多项式、特征值、特征值的代数重数、迹、行列式；
+        \item 特征值的几何重数。
+    \end{enumerate}
+\end{proposition}
+
+\begin{corollary}
+    两个对角矩阵相似当且仅当它们的对角元素除排列次序外相同。
+\end{corollary}
+
+\begin{definition}
+    如果$A$可对角化，则称对角化得到的对角矩阵为$A$的相似标准形。
+\end{definition}
+
+\begin{proposition}
+    对$n$阶方阵$A$，存在可逆矩阵$X$，使得$X\revmat A X = T$是上三角矩阵，且$T$的对角元素是$A$的$n$个特征值（记重数）。进一步地，通过选择特定的$X$，能够令$T$的对角元素是$A$的特征值的任意排列。
+\end{proposition}
+
+\begin{theorem}[Hamilton-Cayley定理]
+    设方阵$A$的特征多项式为$p_A(\lambda)$，则$p_A(A) = O$。
+\end{theorem}
+
+\begin{theorem}[Jordan分解]
+    对$n$阶方阵$A$，存在可逆矩阵$X$，使得
+    \[X\revmat A X = J = \begin{bmatrix}
+        J_{n_1}(\lambda_1) & & & \\
+        & J_{n_2}(\lambda_2) & & \\
+        & & \ddots & \\
+        & & & J_{n_r}(\lambda_r)
+    \end{bmatrix}\eqco\]
+    其中
+    \(J_{n_i}(\lambda_i) = \begin{bmatrix}
+        \lambda_i & 1 & & \\
+        & \lambda_i & \ddots &\\
+        & & \ddots & 1\\
+        & & & \lambda_i
+    \end{bmatrix}_{n_i \times n_i}\)
+    是$n_i$阶Jordan块，而$n_1 + n_2 + \dots + n_r = n$，且除了这些Jordan块的排列次序外，$J$被$A$唯一确定。注意$\lambda_1, \lambda_2, \dots, \lambda_r$中可能有相同的数。另外，当$A$是实方阵且$\lambda_i$全是实数时，$X$也可取作实方阵。
+\end{theorem}
+
+\begin{definition}
+    设$A, B$是$n$阶方阵，如果存在可逆矩阵$X$使得$X\revmat A X = \varLambda_1$和$X\revmat B X = \varLambda_2$都是对角矩阵，则称$A, B$可以同时对角化。
+\end{definition}
+
+\begin{proposition}
+    对可对角化的$n$阶方阵$A, B$，以下叙述等价：
+    \begin{enumerate}
+        \item $A,B$可以同时对角化；
+        \item 存在$n$个线性无关的向量，同时是$A, B$的特征向量；
+        \item $A, B$可交换，即$AB = BA$。
+    \end{enumerate}
+\end{proposition}

06实对称矩阵.tex

@@ -0,0 +1,227 @@
+\chapter{实对称矩阵}
+\section{实对称矩阵的谱分解}
+\begin{proposition}
+    实对称矩阵的特征多项式的根都是实根，即实对称矩阵在$\complexnum$上的特征值都是实数。
+\end{proposition}
+
+\begin{theorem}[实对称矩阵的谱分解]
+    对$n$阶实对称矩阵$A$，存在$n$阶正交矩阵$Q$和实对角矩阵$\varLambda$，使得$A = Q\varLambda Q\trans$。分解$A = Q\varLambda Q\trans$称为实对称矩阵$A$的谱分解。
+\end{theorem}
+
+\begin{example}
+    将$A$对角化。
+\end{example}
+\begin{enumerate}
+    \item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。
+    \item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。
+    \item 利用Gram-Schmidt正交化方法得到每个特征值所述的特征子空间的标准正交基\[\bvec{q}_{i,1}, \bvec{q}_{i,2}, \dots, \bvec{q}_{i,r_i}\]
+    \item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令
+    \[Q = \begin{bmatrix}
+        \bvec{q}_{1,1} & \cdots & \bvec{q}_{1,r_1} & \bvec{q}_{2,1} & \cdots & \bvec{q}_{2, r_2} & \cdots & \bvec{q}_{k,1} & \cdots & \bvec{q}_{k, r_k}
+    \end{bmatrix}\]
+    \[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\]
+    则有$A = Q\varLambda Q\trans$。
+\end{enumerate}
+
+\begin{corollary}
+    实对称矩阵属于不同特征值的特征向量互相正交。
+\end{corollary}
+
+\begin{definition}[正交相似]
+    对实方阵$A, B$，如果存在正交矩阵$Q$使得$Q\trans AQ = B$，则称$A$和$B$正交相似，或$A$正交相似于$B$。
+\end{definition}
+
+\begin{proposition}
+    实方阵的正交相似关系是等价关系。
+\end{proposition}
+
+\begin{definition}[Rayleigh商]
+    给定实矩阵$A$和非零向量$\bvec{x} \in \realnum^n$，实数$\dfrac{\bvec{x}\trans A \bvec{x}}{\bvec{x}\trans \bvec{x}}$称为$\bvec{x}$关于$A$的Rayleigh商。
+\end{definition}
+
+\begin{proposition}
+    设实对称矩阵$A$的特征值为$\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n$，相应的特征向量为$\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_n$，则
+    \[\lambda_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_{i - 1})} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 2, \dots, n\]
+    类似地，有
+    \[\lambda_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_{i+1}, \dots, \bvec{q}_n)} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 1, 2, \dots, n -1\]
+\end{proposition}
+
+\section{正定矩阵}
+\begin{definition}[正定矩阵]
+    给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有$\bvec{x}\trans A \bvec{x} > 0$，则称$A$正定。
+\end{definition}
+
+\begin{definition}[顺序主子式]
+    矩阵$A$的第$i$个顺序主子阵的行列式称为其第$i$个顺序主子式。
+\end{definition}
+
+\begin{proposition}
+    对实对称矩阵$A$，以下叙述等价：
+    \begin{enumerate}
+        \item $A$正定；
+        \item $A$的特征值都是正数；
+        \item 存在可逆矩阵$T$，使得$A = TT\trans$；
+        \item $A$有$LDL\trans$分解，且$D$的对角元素都是整数；
+        \item $A$的顺序主子式都是正数；
+        \item $A$的顺序主子阵都正定。
+    \end{enumerate}
+\end{proposition}
+
+\begin{definition}
+    给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有
+    \begin{enumerate}
+        \item $\bvec{x}\trans A \bvec{x} > 0$，则称矩阵$A$正定，如前定义；
+        \item $\bvec{x}\trans A \bvec{x} \geq 0$，则称矩阵$A$半正定；
+        \item $\bvec{x}\trans A \bvec{x} < 0$，则称矩阵$A$负定；
+        \item $\bvec{x}\trans A \bvec{x} \leq 0$，则称矩阵$A$半负定；
+    \end{enumerate}
+    如果$A$不满足以上任何一种条件，则称$A$不定。
+\end{definition}
+
+\begin{proposition}
+    对实对称矩阵$A$，以下叙述等价：
+    \begin{enumerate}
+        \item $A$半正定；
+        \item $A$的特征值都是非负数；
+        \item 存在矩阵$T$，使得$A = TT\trans$；
+        \item $A$存在$LDL\trans$分解，且$D$的对角元素都是非负数。
+    \end{enumerate}
+\end{proposition}
+
+\begin{proposition}
+    对$n$阶实对称矩阵$A$，如果存在$\bvec{x}, \bvec{y} \in \realnum^n$，使得$\bvec{x}\trans A \bvec{x} > 0, \bvec{y}\trans A \bvec{y} < 0$，则存在非零向量$\bvec{z} \in \realnum^n$，使得$\bvec{z}\trans A\bvec{z} = 0$。
+\end{proposition}
+
+\begin{definition}[合同]
+    对方阵$A$，如果存在可逆矩阵$X$使得$X\trans A X = B$，则称$A$和$B$合同，或$A$合同于$B$。
+\end{definition}
+
+\begin{proposition}
+    方阵的合同关系是等价关系。
+\end{proposition}
+
+\begin{proposition}
+    对实对称矩阵$A$，存在可逆矩阵$X$，使得$X\trans AX = J = \begin{bmatrix}
+        I_p & & \\
+        & -I_{r-p} &\\
+        & & O
+    \end{bmatrix}$，
+    其中$r = \rank(A), 0 \leq p \leq r$。
+
+    $J$称为实对称矩阵$A$的合同标准形。
+\end{proposition}
+
+\begin{theorem}[Sylvester惯性定律]
+    实对称矩阵的合同标准形唯一，且它的合同标准形中正、负、零对角元的个数分别和它的正、负、零特征值的个数相等。
+\end{theorem}
+
+\section{奇异值分解}
+如果不加特别说明，本节中的矩阵都是实矩阵。
+\subsection{基本概念}
+\begin{definition}[奇异值]
+    给定$m \times n$矩阵$A$，如果存在非零向量$\bvec{x} \in \realnum^n, \bvec{y} \in \realnum^m, \sigma \geq 0$，使得$A\bvec{x} = \sigma \bvec{y}, A\trans \bvec{y} = \sigma \bvec{x}$，则称$\sigma$为$A$的一个奇异值，$\bvec{x}$为$A$的属于$\sigma$的一个右奇异向量，$\bvec{y}$为$A$的属于$\sigma$的一个左奇异向量。
+\end{definition}
+
+\begin{theorem}[奇异值分解]
+    给定$m \times n$矩阵$A$，存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$，使得$A = U\Sigma V\trans$，其中
+    \[\Sigma = \begin{bmatrix}
+        \Sigma_r & O\\
+        O & O
+    \end{bmatrix},
+    \Sigma_r = \begin{bmatrix}
+        \sigma_1 & & & \\
+        & \sigma_2 & & \\
+        & & \ddots & \\
+        & & & \sigma_r
+    \end{bmatrix}, \sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0\eqper\]
+    分解$A = U\Sigma V\trans$称为$A$的奇异值分解，简称SVD。
+\end{theorem}
+
+计算奇异值分解：
+\begin{example}
+    求$A$的奇异值。
+\end{example}
+\begin{enumerate}
+    \item 求$A\trans A$的谱分解$A\trans A = V \varLambda V\trans$。
+    \item 将$\varLambda$中的每个非零元素开根号得到$\Sigma_r$。注意$A\trans A$是半正定的，因此特征值都是非负数。将$\Sigma_r$的右侧和下侧补零使得它的尺寸和$A$相同，得到$\Sigma$。
+    \item 假设$\Sigma_r$只有$r$列。那么$V$的前$r$列我们记为$V_1$。计算$U_1 = AV_1 \Sigma_r\revmat$，再把$U_1$补成一组标准正交基$U$。
+    \item 这样得到$A = U\Sigma V\trans$。
+\end{enumerate}
+
+\begin{proposition}
+    对$A$的奇异值分解$A = U\Sigma V\trans$，记
+    \(U = \begin{bmatrix}
+        \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_m
+    \end{bmatrix},
+    V = \begin{bmatrix}
+        \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_n
+    \end{bmatrix}\)，则有：
+    \begin{enumerate}
+        \item $\bvec{u}_1, \bvec{u}_2, \dots, \bvec{u}_r$是$\columnspace{A}$的一组标准正交基；
+        \item $\bvec{u}_{r+1}, \bvec{u}_{r+2}, \dots, \bvec{u}_m$是$\nullspace{A\trans}$的一组标准正交基；
+        \item $\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_r$是$\columnspace{A\trans}$的一组标准正交基；
+        \item $\bvec{v}_{r+1}, \bvec{v}_{r+2}, \dots, \bvec{v}_n$是$\nullspace{A}$的一组标准正交基。
+    \end{enumerate}
+    记
+    \(U_r = \begin{bmatrix}
+        \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_r
+    \end{bmatrix},
+    V_r = \begin{bmatrix}
+        \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_r
+    \end{bmatrix}\)，
+    则
+    \[A = U_r\Sigma_rV_r\trans\]
+    这称为$A$的简化奇异值分解。
+\end{proposition}
+
+\begin{definition}[广义逆]
+    设$A$是$m \times n$矩阵。那么$A$的广义逆为满足下列性质的$B$。
+    \begin{enumerate}
+        \item $ABA = A$；
+        \item $BAB = B$；
+        \item $(AB)\trans = AB$；
+        \item $(BA)\trans = BA$。
+    \end{enumerate}
+    记$A^+ := B$。
+\end{definition}
+
+\begin{theorem}
+    $A$的广义逆$A^+$存在且唯一。
+\end{theorem}
+
+\begin{remark}
+    \begin{enumerate}
+        \item $(A^+)^+ = A$；
+        \item 若$A$为可逆矩阵，则$A\revmat = A^+$。
+    \end{enumerate}
+\end{remark}
+
+\begin{proposition}
+    设$A = U_r \Sigma_r V_r\trans$为$A$的简化奇异值分解。那么$A^+ = V_r \Sigma_r U_r\trans$为$A$的广义逆。
+\end{proposition}
+
+\begin{definition}[矩阵的谱范数]
+    对任意矩阵$A$，非负数$\max \limits_{\bvec{x} \neq \bvec{0}} \dfrac{\norm{A\bvec{x}}}{\norm{\bvec{x}}}$称为矩阵$A$的谱范数，记为$\norm{A}$。
+\end{definition}
+
+\begin{proposition}
+    矩阵的谱范数满足：
+    \begin{enumerate}
+        \item $\norm{A} \geq 0$，且$\norm{A} = 0$当且仅当$A = O$；
+        \item $\norm{kA} = \abs{k}\norm{A}$；
+        \item $\norm{A + B} \leq \norm{A} + \norm{B}$；
+        \item $\norm{AB} \leq \norm{A}\norm{B}$；
+        \item 如果$U,V$正交，则$\norm{UAV\trans} = \norm{A}$。
+    \end{enumerate}
+\end{proposition}
+
+\begin{proposition}
+    对任意矩阵$A$，矩阵的谱范数$\norm{A}$等于$A$的最大奇异值。
+\end{proposition}
+
+\begin{proposition}
+    设$m \times n$实矩阵$A$的奇异值为$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_n$，相应的右奇异向量为$\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_n$，则
+    \[\sigma_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_{i - 1})} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 2, \dots, n\]
+    类似地，有
+    \[\sigma_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_{i+1}, \dots, \bvec{v}_n)} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 1, 2, \dots, n -1\]
+\end{proposition}

07线性空间和线性映射.tex

@@ -0,0 +1,160 @@
+\chapter{线性空间和线性映射}
+\section{线性空间}
+\begin{definition}[数域]
+    给定$\complexnum$的子集$\fnum$，如果$\fnum$中至少包含一个非零复数，且$\fnum$对复数的加减乘除四则运算封闭，即对任意$a, b \in \fnum$，都有$a + b, a - b, ab \in \fnum$，且当$b \neq 0$时$\dfrac{a}{b}\in \fnum$，则称$\fnum$是一个数域。
+\end{definition}
+
+\begin{definition}[线性空间]
+    给定非空几个$\spacev$和数域$\fnum$，如果：
+    \begin{enumerate}
+        \item $\spacev$上定义了加法运算，即对任意$\bvec{a}, \bvec{b} \in \spacev$，都以某种法则对应于$\mathcal{V}$中唯一确定的一个元素，记作$\bvec{a} + \bvec{b}$；
+        \item $\spacev$的元素和$\fnum$中的数之间定义了数乘运算，即对任意$\bvec{a} \in \spacev, k \in \fnum$，都以某种法则对应于$\spacev$中唯一确定的一个元素，记作$k \bvec{a}$；
+    \end{enumerate}
+    且这两种运算满足如下八条运算法则：
+    \begin{enumerate}
+        \item 加法结合律：对任意$\bvec{a}, \bvec{b}, \bvec{c} \in \spacev$，$(\bvec{a} + \bvec{b}) + \bvec{c} = \bvec{a} + (\bvec{b} + \bvec{c})$；
+        \item 加法交换律：对任意$\bvec{a}, \bvec{b} \in \spacev$，$\bvec{a} + \bvec{b} = \bvec{b} + \bvec{a}$；
+        \item 零元素：存在元素$\bvec{0} \in \spacev$，对任意$\bvec{a}\in \spacev$，$\bvec{a} + \bvec{0} = \bvec{a}$，其中$\bvec{0}$称为零元素；
+        \item 负元素：对任意$\bvec{a} \in \spacev$，存在$\bvec{b} \in \spacev$，满足$\bvec{a} + \bvec{b} = \bvec{0}$，称它为$\bvec{a}$的负元素，记为$-\bvec{a}$；
+        \item 单位数：对任意$\bvec{a} \in \spacev$，$1 \bvec{a} = \bvec{a}$；
+        \item 数乘结合律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$(kl)\bvec{a} = k(l\bvec{a})$；
+        \item 数乘对数的分配律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$(k + l)\bvec{a} = k\bvec{a} + l\bvec{a}$；
+        \item 数乘对向量的分配律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$k(\bvec{a} + \bvec{b}) = k\bvec{a} + k\bvec{b}$；
+    \end{enumerate}
+    则称$\spacev$是$\fnum$上的线性空间或向量空间，其中的元素可以称为向量，零元素和负元素可以称为零向量和负向量。
+\end{definition}
+
+\begin{proposition}
+    在线性空间中，
+    \begin{enumerate}
+        \item 零向量唯一；
+        \item 任意向量的负向量唯一；
+        \item 加法消去律，即由$\bvec{a} + \bvec{b} = \bvec{a} + \bvec{c}$可以推出$\bvec{b} = \bvec{c}$；
+        \item 可以移项，即由$\bvec{a} + \bvec{b} = \bvec{c}$可以推出$\bvec{a} = \bvec{c} - \bvec{b}$；
+        \item $0\bvec{a} = \bvec{0}, (-1)\bvec{a} = -\bvec{a}, k\bvec{0} = \bvec{0}$；
+        \item 可以约系数，即由$k\bvec{a} = \bvec{b}, k \neq 0$可以推出$a = \dfrac{1}{k}\bvec{b}$。
+    \end{enumerate}
+\end{proposition}
+
+记$m$维向量全体为$\fnum^m$。记$m \times n$矩阵的全体为$\fnum^{m \times n}$。
+
+\begin{enumerate}[label=(\alph{*})]
+    \item 定义域为$D$的实值函数$f: D \to \realnum$的全体构成$\realnum$上的线性空间。
+    \item 定义域相同的实值连续函数的全体页构成$\realnum$上的线性空间，称为连续函数空间，记为$C(D)$。
+    \item 定义域相同的实值无穷次可导函数的全体也构成$\realnum$上的线性空间，称为光滑函数空间，记为$C^\infty(D)$。
+    \item 实系数多项式的全体也构成$\realnum$上的线性空间，称为多项式空间，记为$\realnum[x]$。
+    \item 次数小于$n$的实系数多项式的全体添上零多项式也构成$\realnum$上的线性空间，记为$\realnum[x]_n$。
+    \item 类似地，系数取自$\fnum$的多项式，其全体构成的线性空间记为$\fnum[x]$，同样可以由$\fnum[x]_n$。
+\end{enumerate}
+
+\begin{definition}[子空间]
+    给定数域$\fnum$上的线性空间$\spacev$及其非空子集$\mathcal{M}$。如果$\mathcal{M}$关于$\spacev$上的加法和数乘也构成线性空间，则称$\mathcal{M}$是$\spacev$的（线性）子空间。
+\end{definition}
+
+\begin{proposition}
+    线性空间$\spacev$的非空子集$\mathcal{M}$是一个子空间，当且仅当它对加法和数乘封闭。
+\end{proposition}
+
+\begin{definition}[子空间的交]
+    给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，集合$\mathcal{M}_1 \cap \mathcal{M}_2$是$\spacev$的子空间，称为子空间$\mathcal{M}_1$与$\mathcal{M}_2$的交。
+\end{definition}
+
+\begin{definition}[子空间的和]
+    给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，集合
+    \[\mathcal{M}_1 + \mathcal{M}_2 := \{\bvec{m}_1 + \bvec{m}_2 \mid \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2\}\]
+    是$\spacev$的子空间，称为子空间$\mathcal{M}_1$与$\mathcal{M}_2$的和。
+\end{definition}
+
+\begin{definition}[子空间的直和]
+    给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2, \mathcal{M} = \mathcal{M}_1 + \mathcal{M}_2$。如果$\mathcal{M}$的任意向量$\bvec{m}$的分解式
+    \[\bvec{m} = \bvec{m}_1 + \bvec{m}_2, \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2\]
+    唯一，则称$\mathcal{M}$为$\mathcal{M}_1$与$\mathcal{M}_2$的直和，也称$\mathcal{M}_1 + \mathcal{M}_2$是直和，记作$\mathcal{M} = \mathcal{M}_1 \oplus \mathcal{M}_2$。
+\end{definition}
+
+\begin{theorem}
+    对线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，以下叙述等价：
+    \begin{enumerate}
+        \item $\mathcal{M}_1 + \mathcal{M}_2$是直和；
+        \item 零向量由唯一的分解式，即$\bvec{0} = \bvec{m}_1 + \bvec{m}_2, \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2$，推出$\bvec{m}_1 = \bvec{m}_2 = \bvec{0}$。
+    \end{enumerate}
+\end{theorem}
+
+\section{基和维数}
+\begin{definition}[线性组合、线性生成、线性无关]
+    给定数域$\fnum$上的线性空间$\spacev$内的向量组$\listout{\bvec{a}}{n}$和数$\listout{k}{n} \in \fnum$，称向量$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n$是向量组$\listout{\bvec{a}}{n}$的一个线性组合。
+
+    若向量$\bvec{b}$和向量组$\listout{\bvec{a}}{n}$的一个线性组合相等，则称$\bvec{b}$可以被向量组$\listout{\bvec{a}}{n}$线性表示。
+
+    若向量组$\listout{\bvec{b}}{m}$中的每一个向量都可以被向量组$\listout{\bvec{a}}{n}$线性表示，则称向量组$\listout{\bvec{b}}{m}$可以被向量组$\listout{\bvec{a}}{n}$线性表示。
+
+    向量组$\listout{\bvec{a}}{n}$的线性组合的全体构成$\spacev$的一个子空间，称为该向量组（线性）生成的子空间，记作$\matspan(\listout{\bvec{a}}{n})$。
+
+    如果存在$\fnum$内的$n$个不全为0的数$\listout{k}{n}$，使得$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n = \bvec{0}$，则称向量组$\listout{\bvec{a}}{n}$线性相关。
+
+    如果由$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n = \bvec{0}$必定推出$k_1 = k_2 = \dots = k_n = 0$，则称向量组$\listout{\bvec{a}}{n}$线性无关。
+\end{definition}
+
+\begin{definition}[极大线性无关部分组]
+    给定线性空间$\spacev$中的向量组$\listout{\bvec{a}}{s}$，如果其部分组$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$满足：
+    \begin{enumerate}
+        \item $\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$线性无关：
+        \item $\listout{\bvec{a}}{s}$可以被$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$线性表示；
+    \end{enumerate}
+    则称$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$是$\listout{\bvec{a}}{s}$的一个极大线性无关部分组。
+\end{definition}
+
+\begin{proposition}
+    如果向量组$\listout{\bvec{a}}{s}$线性无关，则对任意向量$\bvec{b}$，有：
+    \begin{enumerate}
+        \item 向量组$\listout{\bvec{a}}{s}, \bvec{b}$线性相关当且仅当$\bvec{b}$可以被向量组$\listout{\bvec{a}}{s}$线性表示；
+        \item $\bvec{b}$不能被向量组$\listout{\bvec{a}}{s}$线性表示当且仅当$\listout{\bvec{a}}{s}, \bvec{b}$线性无关。
+    \end{enumerate}
+\end{proposition}
+
+\begin{proposition}
+    如果向量组$\listout{\bvec{a}}{s}$和$\listout{\bvec{b}}{t}$可以互相线性表示，且两个向量组分别线性无关，则$s = t$。
+\end{proposition}
+
+如果两个向量组可以互相线性表示，则称二者线性等价。
+
+\begin{definition}[秩]
+    一个向量组$S$的任意一个极大线性无关部分组中向量的个数称为这个向量组的秩，记为$\rank(S)$。一个只包含零向量的向量组的秩定义为零。
+\end{definition}
+
+\begin{definition}[基、维数]
+    给定数域$\fnum$上的线性空间$\spacev$。如果$\spacev$中存在一个线性无关的向量组，$\spacev$中的任意向量都可以被它线性表示，则称该向量组为$\spacev$的一组基。
+
+    如果$\spacev$中存在$n$个向量组成的一组基，则称$\spacev$为$n$维线性空间，又称$\spacev$的维数是$n$，记为$\dim \spacev = n$。
+
+    如果不加$\spacev$中存在任意多个线性无关的向量，则称其为无限维线性空间；反之，则称其为有限维线性空间。
+
+    单由零向量组成的线性空间$\{\bvec{0}\}$，其维数定义为$0$。
+\end{definition}
+
+\begin{proposition}
+    对$n$维线性空间$\spacev$，给定其中含有$n$个向量的向量组$\listout{\bvec{a}}{n}$。
+    \begin{enumerate}
+        \item 如果$\listout{\bvec{a}}{n}$线性无关，则$\listout{\bvec{a}}{n}$是$\spacev$的一组基；
+        \item 如果$\spacev = \matspan(\listout{\bvec{a}}{n})$，则$\listout{\bvec{a}}{n}$是$\spacev$的一组基。
+    \end{enumerate}
+\end{proposition}
+
+\begin{proposition}
+    有限维线性空间$\spacev$中任意$r$个线性无关的向量$\listout{\bvec{a}}{r}$都可以扩充成$\spacev$的一组基。
+\end{proposition}
+
+\begin{corollary}
+    给定有限维线性空间$\spacev$的子空间$\mathcal{M}$，则$\mathcal{M}$的任意一组基都可以扩充成$\spacev$的一组基。因此$\dim \mathcal{M} \leq \dim \spacev$。
+\end{corollary}
+
+\begin{theorem}
+    给定有限维线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，先取$\mathcal{M}_1 \cap \mathcal{M}_2$的一组基
+    \[R: \listout{\bvec{a}}{r}\eqco\]
+    将其分别扩充成$\mathcal{M}_1, \mathcal{M}_2$的一组基$S$和$T$：
+    \begin{align*}
+        S: \listout{\bvec{a}}{r}, \listout{\bvec{b}}{s}\eqco\\
+        T: \listout{\bvec{a}}{r}, \listout{\bvec{c}}{t}\eqper
+    \end{align*}
+    此时$R = S\cap T$。向量组$S \cup T: \listout{\bvec{a}}{r}, \listout{\bvec{b}}{s}, \listout{\bvec{c}}{t}$是$\mathcal{M}_1 + \mathcal{M}_2$的一组基。特别地，如下维数公式成立：
+    \[\dim(\mathcal{M}_1 + \mathcal{M}_2) = \dim \mathcal{M}_1 + \dim \mathcal{M}_2 - \dim (\mathcal{M}_1 \cap \mathcal{M}_2)\eqper\]
+\end{theorem}

线性代数.tex

@@ -42,12 +42,15 @@
 \newcommand{\realnum}{\mathbb{R}}
 \newcommand{\integer}{\mathbb{Z}}
 \newcommand{\naturalnum}{\mathbb{N}}
+\newcommand{\complexnum}{\mathbb{C}}
 \newcommand{\columnspace}[1]{\mathcal{R}(#1)}
 \newcommand{\nullspace}[1]{\mathcal{N}\left({#1}\right)}
 \newcommand{\orthocomplementation}{^{\perp}}
 \newcommand{\makedot}{\tikz\draw[black,fill=black] (0,0) circle (2pt);}
 % \newcommand{\norm}[1]{\left\Vert#1\right\Vert}
 \newcommand{\listout}[2]{{#1}_1, {#1}_2, \dots, {#1}_{#2}}
+\newcommand{\fnum}{\mathbb{F}}
+\newcommand{\spacev}{\mathcal{V}}
 
 % \DeclareMathOperator{\comm}{Comm}
 \DeclareMathOperator{\diag}{diag}
@@ -85,4 +88,7 @@
     \include{02子空间和维数.tex}
     \include{03内积和正交性.tex}
     \include{04行列式.tex}
+    \include{05特征值和特征向量.tex}
+    \include{06实对称矩阵.tex}
+    \include{07线性空间和线性映射.tex}
 \end{document}