From d01d54a46d501a55828a9caecc069eabba890109 Mon Sep 17 00:00:00 2001 From: un-lock-able Date: Wed, 28 Dec 2022 09:58:24 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9C=9F=E6=9C=AB=E5=A4=8D=E4=B9=A0=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 03内积和正交性.tex | 2 + 05特征值和特征向量.tex | 222 ++++++++++++++++++++++++++++++++++++++ 06实对称矩阵.tex | 227 +++++++++++++++++++++++++++++++++++++++ 07线性空间和线性映射.tex | 160 +++++++++++++++++++++++++++ 线性代数.tex | 6 ++ 5 files changed, 617 insertions(+) create mode 100644 05特征值和特征向量.tex create mode 100644 06实对称矩阵.tex create mode 100644 07线性空间和线性映射.tex diff --git a/03内积和正交性.tex b/03内积和正交性.tex index 301da24..5bd848e 100644 --- a/03内积和正交性.tex +++ b/03内积和正交性.tex @@ -230,6 +230,8 @@ 给定矩阵$A$，其列空间上的正交投影的表示矩阵$P_{\columnspace{A}}$，称为关于$A$的正交投影矩阵，简记为$P_A$。 \end{definition} +正交化的过程是复杂的。对一般的$A$，如果$A\trans A$是可逆的，那么$P_A = A(A\trans A)\revmat A\trans$。如果$A\trans A$不可逆，那么取$A$列的最大线性无关部分组$B$，$P_A = P_B = B(B\trans B)\revmat B\trans$。 + \begin{proposition} 给定$n$阶方阵$P$，则$P$是正交投影矩阵，当且仅当$P^2 = P\trans = P$。 \end{proposition} diff --git a/05特征值和特征向量.tex b/05特征值和特征向量.tex new file mode 100644 index 0000000..058da97 --- /dev/null +++ b/05特征值和特征向量.tex @@ -0,0 +1,222 @@ +\chapter{特征值和特征向量} +\section{引子} +\begin{theorem}[代数学基本定理] + 复系数一元$n$次多项式在$\complexnum$上至少有一个根。 +\end{theorem} + +\begin{corollary} + 复系数一元$n$次多项式$p(x)$，在$\complexnum$上恰好有$n$个根（可能相同），即存在因式分解$p(x) = a_0(x- x_1)^{n_1} (x - x_2)^{n_2}\dots (x - x_s)^{n_s}$，其中$n_1 + n_2 + \dots + n_s = n$。 + + 在上述因式分解中，$n_i$称为复根$x_i$的重数，$x_i$称为$p(x)$的$n_i$重根。 +\end{corollary} + +\begin{theorem}[Vieta定理] + 复系数一元$n$次多项式$p(x) = a_0x^n + a_1x^{n-1} + \dots + a_n$的$n$个根（计重数）$x_1, x_2, \dots, x_n$满足： + \begin{align*} + -\frac{a_1}{a_0} & = x_1 + x_2 + \dots + x_n,\\ + & ~ \vdots\\ + (-1)^k \frac{a_k}{a_0} & = \sum_{1 \leq i_1 < \dots < i_k \leq n} x_{i_1}x_{i_2}\dots x_{i_k},\\ + & ~ \vdots\\ + (-1)^n \frac{a_n}{a_0} & = x_1 x_2 \dots x_n\eqper + \end{align*} +\end{theorem} + +如果不加特别说明，本章将出现的矩阵都是复矩阵。 + +\section{基本概念} +\begin{definition}[特征值] + 给定$n$阶方阵$A$，如果对$\lambda \in \complexnum$，存在非零向量$\bvec{x} \in \complexnum^n$，使得$A\bvec{x} = \lambda \bvec{x}$，则称$\lambda$为方阵$A$（在$\complexnum$上）得一个特征值，而称非零向量$\bvec{x}$为方阵$A$（在$\complexnum$上）得一个属于特征值$\lambda$的特征向量。 + + 二元组$(\lambda, \bvec{x})$常称为方阵$A$的一个特征对。 + + 特别地，对实方阵$A$，如果特征对$(\lambda, \bvec{x})$满足$\lambda \in \realnum, \bvec{x} \in \realnum^n$，则分别称二者为$A$在$\realnum$上的特征值和特征向量，称该二元组为$A$在$\realnum$上的特征对。 +\end{definition} + +\begin{proposition} + 数$\lambda_0$是$A$的特征值，当且仅当$\det(\lambda_0 I_n - A) = 0$特别地，$0$是$A$的特征值当且仅当$A$不可逆。 +\end{proposition} + +\begin{definition} + 多项式 + \[p_A(\lambda) := \det(\lambda I_n - A) = + \begin{vmatrix} + \lambda - a_{11} & - a_{12} & \cdots & -a_{1n}\\ + -a_{21} & \lambda - a_{22} & \ddots & \vdots\\ + \vdots & \ddots & \ddots & -a_{n-1,n}\\ + -a_{n1} & -a_{n2} & \cdots & \lambda - a_{nn} + \end{vmatrix}\] + 称为矩阵$A$的特征多项式。 +\end{definition} + +\begin{theorem} + 设$n$阶方阵$A$的特征多项式为$p_A(\lambda)$，那么： + \begin{enumerate} + \item 数$\lambda_0$是$A$的特征值，当且仅当$p_A(\lambda_0) = 0$，即$\lambda_0$是特征多项式$p_A(\lambda)$的根。 + \item 向量$\bvec{x}_0 \in \complexnum^n$是$A$的属于$\lambda_0$的特征向量，当且仅当$\bvec{x}_0 \in \nullspace{\lambda_0 I_n - A}$且$\bvec{x}_0 \neq 0$，即$\bvec{x}_0$是$\lambda_0 I_n - A$的零空间中的非零向量。 + \end{enumerate} +\end{theorem} + +\begin{proposition} + 上（下）三角矩阵的全部特征值就是其所有对角元素。 +\end{proposition} + +\begin{theorem}[Gershgorin圆盘定理] + 对矩阵 + \(A = \begin{bmatrix} + a_{ij} + \end{bmatrix}_{n \times n}\)， + 定义如下$n$个圆盘 + \[G_i(A) := \left\{z \bigg| \abs{z - a_{ii}} \leq \sum_{j \neq i} \abs{a_{ij}}\right\}\eqco\] + 那么矩阵的任意特征值$\lambda$一定落在某个圆盘中。因此，矩阵的全部特征值一定落在这$n$个圆盘中。 +\end{theorem} + +\begin{definition}[代数重数] + 给定$n$阶方阵$A$及$A$的一个特征值$\lambda_0 \in \complexnum$，如果$\lambda_0$是特征多项式$p_A(\lambda)$的$n_0$重根，则称$n_0$为$\lambda_0$作为$A$的特征值的代数重数（简称重数），称$\lambda_0$是$A$的一个$n_0$重特征值。 + + 一个1重特征值，又称为单特征值。 +\end{definition} + +\begin{proposition} + 给定$n$阶实方阵$A$，如果$\lambda_0$是它的一个非实数特征值，则$\overline{\lambda}_0$也是它的特征值，且其代数重数和$\lambda_0$的代数重数相等。进一步地，如果复向量$\bvec{x}_0$是属于$\lambda_0$的特征向量，则$\overline{\bvec{x}}_0$是属于$\overline{\lambda}_0$的特征向量。 +\end{proposition} + +\begin{proposition} + 给定$n$阶方阵$A$，其特征多项式具有如下形式： + \[p_A(\lambda) = \lambda^n - \trace(A) \lambda^{n-1} + \dots + (-1)^n \det(A)\eqper\] +\end{proposition} + +\section{对角化和谱分解} +如果线性空间存在一组基$\bvec{x}_1, \bvec{x}_2,\dots, \bvec{x}_n$，且基向量$\bvec{x}_i(i = 1, 2, \dots, n)$是矩阵$A$的属于$\lambda_i$的特征向量，那么$A$可以写作$A + X\varLambda X\revmat$，其中 +\(X = \begin{bmatrix} + \bvec{x}_1 & \bvec{x}_2 & \dots & \bvec{x}_n +\end{bmatrix}\)， +$\varLambda = \diag(\lambda_1, \lambda_2, \dots, \lambda_n)$。 + +\begin{definition}[谱分解] + 对方阵$A$，如果存在可逆矩阵$X$使得$X\revmat A X = \varLambda$是对焦矩阵，则称$A$是（在$\complexnum$上）可对角化的，$X$把$A$对角化，或$X$对角化$A$。 + + 如果方阵$A, X, \varLambda$都是实矩阵，则称$A$在$\realnum$上可对角化。 + + 当$A$可对角化，分解$A = X \varLambda X\revmat$称为$A$的谱分解。 +\end{definition} + +\begin{proposition} + 对$n$阶方阵$A$，$A$可对角化，当且仅当$A$有$n$个线性无关的特征向量。 +\end{proposition} + +\begin{proposition} + 方阵的属于不同特征值的特征向量线性无关。 +\end{proposition} + +\begin{corollary} + 有$n$个不同特征值的$n$阶方阵，即特征值都是单特征值的方阵，可对角化。 +\end{corollary} + +\begin{definition}[几何重数] + 给定$n$阶方阵$A$及其特征值$\lambda_0$，称特征子空间$\nullspace{\lambda_0I_n - A}$的维数为$\lambda_0$作为$A$的特征值的几何重数。 +\end{definition} + +\begin{proposition} + 方阵的特征值的几何重数不大于其代数重数。 +\end{proposition} + +\begin{definition} + 几何重数和代数重数相等的特征值，称为半单特征值。几何重数小于代数重数的特征值，称为亏损特征值。 +\end{definition} + +\begin{theorem} + \begin{enumerate} + \item $n$阶方阵$A$可对角化，当且仅当其特征值都半单。 + \item $n$阶是方阵$A$在$\realnum$上可对角化，当且仅当其特征多项式的根都是实根，且其特征值都半单。 + \end{enumerate} +\end{theorem} + +\begin{proposition} + 设分块对角矩阵 + \(A = \begin{bmatrix} + A_1 & & & \\ + & A_2 & & \\ + & & \ddots & \\ + & & & A_r + \end{bmatrix}\)， + 其中$A_i, i = 1, 2, \dots, r$都是方阵，则$A$可对角化当且仅当所有的$A_i$都可对角化。 +\end{proposition} + +\begin{example} + 将$A$对角化。 +\end{example} +\begin{enumerate} + \item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。 + \item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。 + \item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令 + \[X = \begin{bmatrix} + \bvec{x}_{1,1} & \cdots & \bvec{x}_{1,r_1} & \bvec{x}_{2,1} & \cdots & \bvec{x}_{2, r_2} & \cdots & \bvec{x}_{k,1} & \cdots & \bvec{x}_{k, r_k} + \end{bmatrix}\] + \[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\] + 则有$A = X\varLambda X\revmat$。 +\end{enumerate} + +\section{相似} +\begin{definition}[相似] + 对方阵$A, B$，如果存在可逆矩阵$X$使得$X\revmat A X = B$，则称$A$和$B$相似，或$A$相似于$B$。 +\end{definition} + +\begin{proposition} + 方阵的相似关系是等价关系。 +\end{proposition} + +\begin{proposition} + 方阵的相似关系有如下不变量： + \begin{enumerate} + \item 秩； + \item 特征多项式、特征值、特征值的代数重数、迹、行列式； + \item 特征值的几何重数。 + \end{enumerate} +\end{proposition} + +\begin{corollary} + 两个对角矩阵相似当且仅当它们的对角元素除排列次序外相同。 +\end{corollary} + +\begin{definition} + 如果$A$可对角化，则称对角化得到的对角矩阵为$A$的相似标准形。 +\end{definition} + +\begin{proposition} + 对$n$阶方阵$A$，存在可逆矩阵$X$，使得$X\revmat A X = T$是上三角矩阵，且$T$的对角元素是$A$的$n$个特征值（记重数）。进一步地，通过选择特定的$X$，能够令$T$的对角元素是$A$的特征值的任意排列。 +\end{proposition} + +\begin{theorem}[Hamilton-Cayley定理] + 设方阵$A$的特征多项式为$p_A(\lambda)$，则$p_A(A) = O$。 +\end{theorem} + +\begin{theorem}[Jordan分解] + 对$n$阶方阵$A$，存在可逆矩阵$X$，使得 + \[X\revmat A X = J = \begin{bmatrix} + J_{n_1}(\lambda_1) & & & \\ + & J_{n_2}(\lambda_2) & & \\ + & & \ddots & \\ + & & & J_{n_r}(\lambda_r) + \end{bmatrix}\eqco\] + 其中 + \(J_{n_i}(\lambda_i) = \begin{bmatrix} + \lambda_i & 1 & & \\ + & \lambda_i & \ddots &\\ + & & \ddots & 1\\ + & & & \lambda_i + \end{bmatrix}_{n_i \times n_i}\) + 是$n_i$阶Jordan块，而$n_1 + n_2 + \dots + n_r = n$，且除了这些Jordan块的排列次序外，$J$被$A$唯一确定。注意$\lambda_1, \lambda_2, \dots, \lambda_r$中可能有相同的数。另外，当$A$是实方阵且$\lambda_i$全是实数时，$X$也可取作实方阵。 +\end{theorem} + +\begin{definition} + 设$A, B$是$n$阶方阵，如果存在可逆矩阵$X$使得$X\revmat A X = \varLambda_1$和$X\revmat B X = \varLambda_2$都是对角矩阵，则称$A, B$可以同时对角化。 +\end{definition} + +\begin{proposition} + 对可对角化的$n$阶方阵$A, B$，以下叙述等价： + \begin{enumerate} + \item $A,B$可以同时对角化； + \item 存在$n$个线性无关的向量，同时是$A, B$的特征向量； + \item $A, B$可交换，即$AB = BA$。 + \end{enumerate} +\end{proposition} \ No newline at end of file diff --git a/06实对称矩阵.tex b/06实对称矩阵.tex new file mode 100644 index 0000000..2cbbb61 --- /dev/null +++ b/06实对称矩阵.tex @@ -0,0 +1,227 @@ +\chapter{实对称矩阵} +\section{实对称矩阵的谱分解} +\begin{proposition} + 实对称矩阵的特征多项式的根都是实根，即实对称矩阵在$\complexnum$上的特征值都是实数。 +\end{proposition} + +\begin{theorem}[实对称矩阵的谱分解] + 对$n$阶实对称矩阵$A$，存在$n$阶正交矩阵$Q$和实对角矩阵$\varLambda$，使得$A = Q\varLambda Q\trans$。分解$A = Q\varLambda Q\trans$称为实对称矩阵$A$的谱分解。 +\end{theorem} + +\begin{example} + 将$A$对角化。 +\end{example} +\begin{enumerate} + \item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。 + \item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。 + \item 利用Gram-Schmidt正交化方法得到每个特征值所述的特征子空间的标准正交基\[\bvec{q}_{i,1}, \bvec{q}_{i,2}, \dots, \bvec{q}_{i,r_i}\] + \item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令 + \[Q = \begin{bmatrix} + \bvec{q}_{1,1} & \cdots & \bvec{q}_{1,r_1} & \bvec{q}_{2,1} & \cdots & \bvec{q}_{2, r_2} & \cdots & \bvec{q}_{k,1} & \cdots & \bvec{q}_{k, r_k} + \end{bmatrix}\] + \[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\] + 则有$A = Q\varLambda Q\trans$。 +\end{enumerate} + +\begin{corollary} + 实对称矩阵属于不同特征值的特征向量互相正交。 +\end{corollary} + +\begin{definition}[正交相似] + 对实方阵$A, B$，如果存在正交矩阵$Q$使得$Q\trans AQ = B$，则称$A$和$B$正交相似，或$A$正交相似于$B$。 +\end{definition} + +\begin{proposition} + 实方阵的正交相似关系是等价关系。 +\end{proposition} + +\begin{definition}[Rayleigh商] + 给定实矩阵$A$和非零向量$\bvec{x} \in \realnum^n$，实数$\dfrac{\bvec{x}\trans A \bvec{x}}{\bvec{x}\trans \bvec{x}}$称为$\bvec{x}$关于$A$的Rayleigh商。 +\end{definition} + +\begin{proposition} + 设实对称矩阵$A$的特征值为$\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n$，相应的特征向量为$\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_n$，则 + \[\lambda_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_{i - 1})} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 2, \dots, n\] + 类似地，有 + \[\lambda_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_{i+1}, \dots, \bvec{q}_n)} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 1, 2, \dots, n -1\] +\end{proposition} + +\section{正定矩阵} +\begin{definition}[正定矩阵] + 给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有$\bvec{x}\trans A \bvec{x} > 0$，则称$A$正定。 +\end{definition} + +\begin{definition}[顺序主子式] + 矩阵$A$的第$i$个顺序主子阵的行列式称为其第$i$个顺序主子式。 +\end{definition} + +\begin{proposition} + 对实对称矩阵$A$，以下叙述等价： + \begin{enumerate} + \item $A$正定； + \item $A$的特征值都是正数； + \item 存在可逆矩阵$T$，使得$A = TT\trans$； + \item $A$有$LDL\trans$分解，且$D$的对角元素都是整数； + \item $A$的顺序主子式都是正数； + \item $A$的顺序主子阵都正定。 + \end{enumerate} +\end{proposition} + +\begin{definition} + 给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有 + \begin{enumerate} + \item $\bvec{x}\trans A \bvec{x} > 0$，则称矩阵$A$正定，如前定义； + \item $\bvec{x}\trans A \bvec{x} \geq 0$，则称矩阵$A$半正定； + \item $\bvec{x}\trans A \bvec{x} < 0$，则称矩阵$A$负定； + \item $\bvec{x}\trans A \bvec{x} \leq 0$，则称矩阵$A$半负定； + \end{enumerate} + 如果$A$不满足以上任何一种条件，则称$A$不定。 +\end{definition} + +\begin{proposition} + 对实对称矩阵$A$，以下叙述等价： + \begin{enumerate} + \item $A$半正定； + \item $A$的特征值都是非负数； + \item 存在矩阵$T$，使得$A = TT\trans$； + \item $A$存在$LDL\trans$分解，且$D$的对角元素都是非负数。 + \end{enumerate} +\end{proposition} + +\begin{proposition} + 对$n$阶实对称矩阵$A$，如果存在$\bvec{x}, \bvec{y} \in \realnum^n$，使得$\bvec{x}\trans A \bvec{x} > 0, \bvec{y}\trans A \bvec{y} < 0$，则存在非零向量$\bvec{z} \in \realnum^n$，使得$\bvec{z}\trans A\bvec{z} = 0$。 +\end{proposition} + +\begin{definition}[合同] + 对方阵$A$，如果存在可逆矩阵$X$使得$X\trans A X = B$，则称$A$和$B$合同，或$A$合同于$B$。 +\end{definition} + +\begin{proposition} + 方阵的合同关系是等价关系。 +\end{proposition} + +\begin{proposition} + 对实对称矩阵$A$，存在可逆矩阵$X$，使得$X\trans AX = J = \begin{bmatrix} + I_p & & \\ + & -I_{r-p} &\\ + & & O + \end{bmatrix}$， + 其中$r = \rank(A), 0 \leq p \leq r$。 + + $J$称为实对称矩阵$A$的合同标准形。 +\end{proposition} + +\begin{theorem}[Sylvester惯性定律] + 实对称矩阵的合同标准形唯一，且它的合同标准形中正、负、零对角元的个数分别和它的正、负、零特征值的个数相等。 +\end{theorem} + +\section{奇异值分解} +如果不加特别说明，本节中的矩阵都是实矩阵。 +\subsection{基本概念} +\begin{definition}[奇异值] + 给定$m \times n$矩阵$A$，如果存在非零向量$\bvec{x} \in \realnum^n, \bvec{y} \in \realnum^m, \sigma \geq 0$，使得$A\bvec{x} = \sigma \bvec{y}, A\trans \bvec{y} = \sigma \bvec{x}$，则称$\sigma$为$A$的一个奇异值，$\bvec{x}$为$A$的属于$\sigma$的一个右奇异向量，$\bvec{y}$为$A$的属于$\sigma$的一个左奇异向量。 +\end{definition} + +\begin{theorem}[奇异值分解] + 给定$m \times n$矩阵$A$，存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$，使得$A = U\Sigma V\trans$，其中 + \[\Sigma = \begin{bmatrix} + \Sigma_r & O\\ + O & O + \end{bmatrix}, + \Sigma_r = \begin{bmatrix} + \sigma_1 & & & \\ + & \sigma_2 & & \\ + & & \ddots & \\ + & & & \sigma_r + \end{bmatrix}, \sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0\eqper\] + 分解$A = U\Sigma V\trans$称为$A$的奇异值分解，简称SVD。 +\end{theorem} + +计算奇异值分解： +\begin{example} + 求$A$的奇异值。 +\end{example} +\begin{enumerate} + \item 求$A\trans A$的谱分解$A\trans A = V \varLambda V\trans$。 + \item 将$\varLambda$中的每个非零元素开根号得到$\Sigma_r$。注意$A\trans A$是半正定的，因此特征值都是非负数。将$\Sigma_r$的右侧和下侧补零使得它的尺寸和$A$相同，得到$\Sigma$。 + \item 假设$\Sigma_r$只有$r$列。那么$V$的前$r$列我们记为$V_1$。计算$U_1 = AV_1 \Sigma_r\revmat$，再把$U_1$补成一组标准正交基$U$。 + \item 这样得到$A = U\Sigma V\trans$。 +\end{enumerate} + +\begin{proposition} + 对$A$的奇异值分解$A = U\Sigma V\trans$，记 + \(U = \begin{bmatrix} + \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_m + \end{bmatrix}, + V = \begin{bmatrix} + \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_n + \end{bmatrix}\)，则有： + \begin{enumerate} + \item $\bvec{u}_1, \bvec{u}_2, \dots, \bvec{u}_r$是$\columnspace{A}$的一组标准正交基； + \item $\bvec{u}_{r+1}, \bvec{u}_{r+2}, \dots, \bvec{u}_m$是$\nullspace{A\trans}$的一组标准正交基； + \item $\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_r$是$\columnspace{A\trans}$的一组标准正交基； + \item $\bvec{v}_{r+1}, \bvec{v}_{r+2}, \dots, \bvec{v}_n$是$\nullspace{A}$的一组标准正交基。 + \end{enumerate} + 记 + \(U_r = \begin{bmatrix} + \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_r + \end{bmatrix}, + V_r = \begin{bmatrix} + \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_r + \end{bmatrix}\)， + 则 + \[A = U_r\Sigma_rV_r\trans\] + 这称为$A$的简化奇异值分解。 +\end{proposition} + +\begin{definition}[广义逆] + 设$A$是$m \times n$矩阵。那么$A$的广义逆为满足下列性质的$B$。 + \begin{enumerate} + \item $ABA = A$； + \item $BAB = B$； + \item $(AB)\trans = AB$； + \item $(BA)\trans = BA$。 + \end{enumerate} + 记$A^+ := B$。 +\end{definition} + +\begin{theorem} + $A$的广义逆$A^+$存在且唯一。 +\end{theorem} + +\begin{remark} + \begin{enumerate} + \item $(A^+)^+ = A$； + \item 若$A$为可逆矩阵，则$A\revmat = A^+$。 + \end{enumerate} +\end{remark} + +\begin{proposition} + 设$A = U_r \Sigma_r V_r\trans$为$A$的简化奇异值分解。那么$A^+ = V_r \Sigma_r U_r\trans$为$A$的广义逆。 +\end{proposition} + +\begin{definition}[矩阵的谱范数] + 对任意矩阵$A$，非负数$\max \limits_{\bvec{x} \neq \bvec{0}} \dfrac{\norm{A\bvec{x}}}{\norm{\bvec{x}}}$称为矩阵$A$的谱范数，记为$\norm{A}$。 +\end{definition} + +\begin{proposition} + 矩阵的谱范数满足： + \begin{enumerate} + \item $\norm{A} \geq 0$，且$\norm{A} = 0$当且仅当$A = O$； + \item $\norm{kA} = \abs{k}\norm{A}$； + \item $\norm{A + B} \leq \norm{A} + \norm{B}$； + \item $\norm{AB} \leq \norm{A}\norm{B}$； + \item 如果$U,V$正交，则$\norm{UAV\trans} = \norm{A}$。 + \end{enumerate} +\end{proposition} + +\begin{proposition} + 对任意矩阵$A$，矩阵的谱范数$\norm{A}$等于$A$的最大奇异值。 +\end{proposition} + +\begin{proposition} + 设$m \times n$实矩阵$A$的奇异值为$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_n$，相应的右奇异向量为$\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_n$，则 + \[\sigma_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_{i - 1})} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 2, \dots, n\] + 类似地，有 + \[\sigma_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_{i+1}, \dots, \bvec{v}_n)} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 1, 2, \dots, n -1\] +\end{proposition} \ No newline at end of file diff --git a/07线性空间和线性映射.tex b/07线性空间和线性映射.tex new file mode 100644 index 0000000..5bd3bc2 --- /dev/null +++ b/07线性空间和线性映射.tex @@ -0,0 +1,160 @@ +\chapter{线性空间和线性映射} +\section{线性空间} +\begin{definition}[数域] + 给定$\complexnum$的子集$\fnum$，如果$\fnum$中至少包含一个非零复数，且$\fnum$对复数的加减乘除四则运算封闭，即对任意$a, b \in \fnum$，都有$a + b, a - b, ab \in \fnum$，且当$b \neq 0$时$\dfrac{a}{b}\in \fnum$，则称$\fnum$是一个数域。 +\end{definition} + +\begin{definition}[线性空间] + 给定非空几个$\spacev$和数域$\fnum$，如果： + \begin{enumerate} + \item $\spacev$上定义了加法运算，即对任意$\bvec{a}, \bvec{b} \in \spacev$，都以某种法则对应于$\mathcal{V}$中唯一确定的一个元素，记作$\bvec{a} + \bvec{b}$； + \item $\spacev$的元素和$\fnum$中的数之间定义了数乘运算，即对任意$\bvec{a} \in \spacev, k \in \fnum$，都以某种法则对应于$\spacev$中唯一确定的一个元素，记作$k \bvec{a}$； + \end{enumerate} + 且这两种运算满足如下八条运算法则： + \begin{enumerate} + \item 加法结合律：对任意$\bvec{a}, \bvec{b}, \bvec{c} \in \spacev$，$(\bvec{a} + \bvec{b}) + \bvec{c} = \bvec{a} + (\bvec{b} + \bvec{c})$； + \item 加法交换律：对任意$\bvec{a}, \bvec{b} \in \spacev$，$\bvec{a} + \bvec{b} = \bvec{b} + \bvec{a}$； + \item 零元素：存在元素$\bvec{0} \in \spacev$，对任意$\bvec{a}\in \spacev$，$\bvec{a} + \bvec{0} = \bvec{a}$，其中$\bvec{0}$称为零元素； + \item 负元素：对任意$\bvec{a} \in \spacev$，存在$\bvec{b} \in \spacev$，满足$\bvec{a} + \bvec{b} = \bvec{0}$，称它为$\bvec{a}$的负元素，记为$-\bvec{a}$； + \item 单位数：对任意$\bvec{a} \in \spacev$，$1 \bvec{a} = \bvec{a}$； + \item 数乘结合律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$(kl)\bvec{a} = k(l\bvec{a})$； + \item 数乘对数的分配律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$(k + l)\bvec{a} = k\bvec{a} + l\bvec{a}$； + \item 数乘对向量的分配律：对任意$\bvec{a} \in \spacev$，$k, l \in \fnum$，$k(\bvec{a} + \bvec{b}) = k\bvec{a} + k\bvec{b}$； + \end{enumerate} + 则称$\spacev$是$\fnum$上的线性空间或向量空间，其中的元素可以称为向量，零元素和负元素可以称为零向量和负向量。 +\end{definition} + +\begin{proposition} + 在线性空间中， + \begin{enumerate} + \item 零向量唯一； + \item 任意向量的负向量唯一； + \item 加法消去律，即由$\bvec{a} + \bvec{b} = \bvec{a} + \bvec{c}$可以推出$\bvec{b} = \bvec{c}$； + \item 可以移项，即由$\bvec{a} + \bvec{b} = \bvec{c}$可以推出$\bvec{a} = \bvec{c} - \bvec{b}$； + \item $0\bvec{a} = \bvec{0}, (-1)\bvec{a} = -\bvec{a}, k\bvec{0} = \bvec{0}$； + \item 可以约系数，即由$k\bvec{a} = \bvec{b}, k \neq 0$可以推出$a = \dfrac{1}{k}\bvec{b}$。 + \end{enumerate} +\end{proposition} + +记$m$维向量全体为$\fnum^m$。记$m \times n$矩阵的全体为$\fnum^{m \times n}$。 + +\begin{enumerate}[label=(\alph{*})] + \item 定义域为$D$的实值函数$f: D \to \realnum$的全体构成$\realnum$上的线性空间。 + \item 定义域相同的实值连续函数的全体页构成$\realnum$上的线性空间，称为连续函数空间，记为$C(D)$。 + \item 定义域相同的实值无穷次可导函数的全体也构成$\realnum$上的线性空间，称为光滑函数空间，记为$C^\infty(D)$。 + \item 实系数多项式的全体也构成$\realnum$上的线性空间，称为多项式空间，记为$\realnum[x]$。 + \item 次数小于$n$的实系数多项式的全体添上零多项式也构成$\realnum$上的线性空间，记为$\realnum[x]_n$。 + \item 类似地，系数取自$\fnum$的多项式，其全体构成的线性空间记为$\fnum[x]$，同样可以由$\fnum[x]_n$。 +\end{enumerate} + +\begin{definition}[子空间] + 给定数域$\fnum$上的线性空间$\spacev$及其非空子集$\mathcal{M}$。如果$\mathcal{M}$关于$\spacev$上的加法和数乘也构成线性空间，则称$\mathcal{M}$是$\spacev$的（线性）子空间。 +\end{definition} + +\begin{proposition} + 线性空间$\spacev$的非空子集$\mathcal{M}$是一个子空间，当且仅当它对加法和数乘封闭。 +\end{proposition} + +\begin{definition}[子空间的交] + 给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，集合$\mathcal{M}_1 \cap \mathcal{M}_2$是$\spacev$的子空间，称为子空间$\mathcal{M}_1$与$\mathcal{M}_2$的交。 +\end{definition} + +\begin{definition}[子空间的和] + 给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，集合 + \[\mathcal{M}_1 + \mathcal{M}_2 := \{\bvec{m}_1 + \bvec{m}_2 \mid \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2\}\] + 是$\spacev$的子空间，称为子空间$\mathcal{M}_1$与$\mathcal{M}_2$的和。 +\end{definition} + +\begin{definition}[子空间的直和] + 给定线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2, \mathcal{M} = \mathcal{M}_1 + \mathcal{M}_2$。如果$\mathcal{M}$的任意向量$\bvec{m}$的分解式 + \[\bvec{m} = \bvec{m}_1 + \bvec{m}_2, \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2\] + 唯一，则称$\mathcal{M}$为$\mathcal{M}_1$与$\mathcal{M}_2$的直和，也称$\mathcal{M}_1 + \mathcal{M}_2$是直和，记作$\mathcal{M} = \mathcal{M}_1 \oplus \mathcal{M}_2$。 +\end{definition} + +\begin{theorem} + 对线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，以下叙述等价： + \begin{enumerate} + \item $\mathcal{M}_1 + \mathcal{M}_2$是直和； + \item 零向量由唯一的分解式，即$\bvec{0} = \bvec{m}_1 + \bvec{m}_2, \bvec{m}_1 \in \mathcal{M}_1, \bvec{m}_2 \in \mathcal{M}_2$，推出$\bvec{m}_1 = \bvec{m}_2 = \bvec{0}$。 + \end{enumerate} +\end{theorem} + +\section{基和维数} +\begin{definition}[线性组合、线性生成、线性无关] + 给定数域$\fnum$上的线性空间$\spacev$内的向量组$\listout{\bvec{a}}{n}$和数$\listout{k}{n} \in \fnum$，称向量$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n$是向量组$\listout{\bvec{a}}{n}$的一个线性组合。 + + 若向量$\bvec{b}$和向量组$\listout{\bvec{a}}{n}$的一个线性组合相等，则称$\bvec{b}$可以被向量组$\listout{\bvec{a}}{n}$线性表示。 + + 若向量组$\listout{\bvec{b}}{m}$中的每一个向量都可以被向量组$\listout{\bvec{a}}{n}$线性表示，则称向量组$\listout{\bvec{b}}{m}$可以被向量组$\listout{\bvec{a}}{n}$线性表示。 + + 向量组$\listout{\bvec{a}}{n}$的线性组合的全体构成$\spacev$的一个子空间，称为该向量组（线性）生成的子空间，记作$\matspan(\listout{\bvec{a}}{n})$。 + + 如果存在$\fnum$内的$n$个不全为0的数$\listout{k}{n}$，使得$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n = \bvec{0}$，则称向量组$\listout{\bvec{a}}{n}$线性相关。 + + 如果由$k_1 \bvec{a}_1 + k_2 \bvec{a}_2 + \dots + k_n \bvec{a}_n = \bvec{0}$必定推出$k_1 = k_2 = \dots = k_n = 0$，则称向量组$\listout{\bvec{a}}{n}$线性无关。 +\end{definition} + +\begin{definition}[极大线性无关部分组] + 给定线性空间$\spacev$中的向量组$\listout{\bvec{a}}{s}$，如果其部分组$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$满足： + \begin{enumerate} + \item $\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$线性无关： + \item $\listout{\bvec{a}}{s}$可以被$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$线性表示； + \end{enumerate} + 则称$\bvec{a}_{i_1}, \bvec{a}_{i_2}, \dots, \bvec{a}_{i_r}$是$\listout{\bvec{a}}{s}$的一个极大线性无关部分组。 +\end{definition} + +\begin{proposition} + 如果向量组$\listout{\bvec{a}}{s}$线性无关，则对任意向量$\bvec{b}$，有： + \begin{enumerate} + \item 向量组$\listout{\bvec{a}}{s}, \bvec{b}$线性相关当且仅当$\bvec{b}$可以被向量组$\listout{\bvec{a}}{s}$线性表示； + \item $\bvec{b}$不能被向量组$\listout{\bvec{a}}{s}$线性表示当且仅当$\listout{\bvec{a}}{s}, \bvec{b}$线性无关。 + \end{enumerate} +\end{proposition} + +\begin{proposition} + 如果向量组$\listout{\bvec{a}}{s}$和$\listout{\bvec{b}}{t}$可以互相线性表示，且两个向量组分别线性无关，则$s = t$。 +\end{proposition} + +如果两个向量组可以互相线性表示，则称二者线性等价。 + +\begin{definition}[秩] + 一个向量组$S$的任意一个极大线性无关部分组中向量的个数称为这个向量组的秩，记为$\rank(S)$。一个只包含零向量的向量组的秩定义为零。 +\end{definition} + +\begin{definition}[基、维数] + 给定数域$\fnum$上的线性空间$\spacev$。如果$\spacev$中存在一个线性无关的向量组，$\spacev$中的任意向量都可以被它线性表示，则称该向量组为$\spacev$的一组基。 + + 如果$\spacev$中存在$n$个向量组成的一组基，则称$\spacev$为$n$维线性空间，又称$\spacev$的维数是$n$，记为$\dim \spacev = n$。 + + 如果不加$\spacev$中存在任意多个线性无关的向量，则称其为无限维线性空间；反之，则称其为有限维线性空间。 + + 单由零向量组成的线性空间$\{\bvec{0}\}$，其维数定义为$0$。 +\end{definition} + +\begin{proposition} + 对$n$维线性空间$\spacev$，给定其中含有$n$个向量的向量组$\listout{\bvec{a}}{n}$。 + \begin{enumerate} + \item 如果$\listout{\bvec{a}}{n}$线性无关，则$\listout{\bvec{a}}{n}$是$\spacev$的一组基； + \item 如果$\spacev = \matspan(\listout{\bvec{a}}{n})$，则$\listout{\bvec{a}}{n}$是$\spacev$的一组基。 + \end{enumerate} +\end{proposition} + +\begin{proposition} + 有限维线性空间$\spacev$中任意$r$个线性无关的向量$\listout{\bvec{a}}{r}$都可以扩充成$\spacev$的一组基。 +\end{proposition} + +\begin{corollary} + 给定有限维线性空间$\spacev$的子空间$\mathcal{M}$，则$\mathcal{M}$的任意一组基都可以扩充成$\spacev$的一组基。因此$\dim \mathcal{M} \leq \dim \spacev$。 +\end{corollary} + +\begin{theorem} + 给定有限维线性空间$\spacev$的两个子空间$\mathcal{M}_1, \mathcal{M}_2$，先取$\mathcal{M}_1 \cap \mathcal{M}_2$的一组基 + \[R: \listout{\bvec{a}}{r}\eqco\] + 将其分别扩充成$\mathcal{M}_1, \mathcal{M}_2$的一组基$S$和$T$： + \begin{align*} + S: \listout{\bvec{a}}{r}, \listout{\bvec{b}}{s}\eqco\\ + T: \listout{\bvec{a}}{r}, \listout{\bvec{c}}{t}\eqper + \end{align*} + 此时$R = S\cap T$。向量组$S \cup T: \listout{\bvec{a}}{r}, \listout{\bvec{b}}{s}, \listout{\bvec{c}}{t}$是$\mathcal{M}_1 + \mathcal{M}_2$的一组基。特别地，如下维数公式成立： + \[\dim(\mathcal{M}_1 + \mathcal{M}_2) = \dim \mathcal{M}_1 + \dim \mathcal{M}_2 - \dim (\mathcal{M}_1 \cap \mathcal{M}_2)\eqper\] +\end{theorem} \ No newline at end of file diff --git a/线性代数.tex b/线性代数.tex index f86ab03..731c8df 100644 --- a/线性代数.tex +++ b/线性代数.tex @@ -42,12 +42,15 @@ \newcommand{\realnum}{\mathbb{R}} \newcommand{\integer}{\mathbb{Z}} \newcommand{\naturalnum}{\mathbb{N}} +\newcommand{\complexnum}{\mathbb{C}} \newcommand{\columnspace}[1]{\mathcal{R}(#1)} \newcommand{\nullspace}[1]{\mathcal{N}\left({#1}\right)} \newcommand{\orthocomplementation}{^{\perp}} \newcommand{\makedot}{\tikz\draw[black,fill=black] (0,0) circle (2pt);} % \newcommand{\norm}[1]{\left\Vert#1\right\Vert} \newcommand{\listout}[2]{{#1}_1, {#1}_2, \dots, {#1}_{#2}} +\newcommand{\fnum}{\mathbb{F}} +\newcommand{\spacev}{\mathcal{V}} % \DeclareMathOperator{\comm}{Comm} \DeclareMathOperator{\diag}{diag} @@ -85,4 +88,7 @@ \include{02子空间和维数.tex} \include{03内积和正交性.tex} \include{04行列式.tex} + \include{05特征值和特征向量.tex} + \include{06实对称矩阵.tex} + \include{07线性空间和线性映射.tex} \end{document} \ No newline at end of file