第四章。
This commit is contained in:
240
03内积和正交性.tex
Normal file
240
03内积和正交性.tex
Normal file
@@ -0,0 +1,240 @@
|
||||
\chapter{内积和正交性}
|
||||
\section{基本概念}
|
||||
\subsection{内积}
|
||||
\begin{definition}[内积]
|
||||
定义$\realnum^n$上的两个列向量$\bvec{a}, \bvec{b}$的内积为实数$\bvec{a}\trans \bvec{b}$，即如果
|
||||
\(\bvec{a} = \begin{bmatrix}
|
||||
a_1\\ a_2\\ \vdots\\ a_n
|
||||
\end{bmatrix}\)，
|
||||
\(\bvec{b} = \begin{bmatrix}
|
||||
b_1\\ b_2\\ \vdots\\ b_n
|
||||
\end{bmatrix}\)，
|
||||
则$\bvec{a}, \bvec{b}$的内积为$a_1 b_1 + a_2 b_2 + \dots + a_n b_n$。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
向量内积满足如下性质：
|
||||
\begin{enumerate}
|
||||
\item 对称：$\bvec{a}\trans \bvec{b} = \bvec{b}\trans \bvec{a}$；
|
||||
\item 双线性：$\bvec{a}\trans(k_1 b_2 + k_2 b_2) = k_1 \bvec{a}\trans \bvec{b}_1 + k_2 \bvec{a}\trans b_2, (k_1\bvec{a}_1 + k_2 \bvec{a_2})\trans \bvec{b} = k_1 \bvec{a}_1\trans \bvec{b} + k_2 a_2\trans \bvec{b}$；
|
||||
\item 正定：$\bvec{a}\trans \bvec{a} \geq 0$，且$\bvec{a}\trans \bvec{a} = 0$当且仅当$\bvec{a} = \bvec{0}$。
|
||||
\end{enumerate}
|
||||
\end{proposition}
|
||||
|
||||
\begin{definition}
|
||||
定义$n$维向量
|
||||
\(\bvec{a} = \begin{bmatrix}
|
||||
a_1\\ a_2\\ \vdots\\ a_n
|
||||
\end{bmatrix}\)
|
||||
的长度：
|
||||
\[\norm{\bvec{a}} = \sqrt{\bvec{a}\trans \bvec{a}} = \sqrt{a_1^2 + a_2^2 + \dots + a_n^2}\eqper\]
|
||||
|
||||
一个向量的长度为零当且仅当它是零向量。长度为1的向量称为单位向量。单位向量$\dfrac{\bvec{a}}{\norm{\bvec{a}}}$称为非零向量$\bvec{a}$的单位化（向量）。实数$\norm{\bvec{a} - \bvec{b}}$称为向量$\bvec{a},\bvec{b}$之间的距离。
|
||||
\end{definition}
|
||||
|
||||
\begin{theorem}[Cauchy-Schwarz不等式]
|
||||
$\abs{\bvec{a}\trans \bvec{b}} \leq \norm{\bvec{a}}\norm{\bvec{b}}$，等号成立当且仅当$\bvec{a}, \bvec{b}$共线。
|
||||
\end{theorem}
|
||||
|
||||
\begin{corollary}[三角不等式]
|
||||
$\norm{\bvec{a} + \bvec{b}} \leq \norm{\bvec{a}} + \norm{\bvec{b}}$。
|
||||
\end{corollary}
|
||||
|
||||
\begin{definition}
|
||||
Cauchy-Schwarz不等式是我们能定义两个非零向量的夹角为$\arccos \dfrac{\bvec{a}\trans \bvec{b}}{\norm{\bvec{a}}\norm{\bvec{b}}}$。两个非零向量的内积为0当且仅当夹角为$\dfrac{\pi}{2}$。如果$\bvec{a}\trans \bvec{b} = 0$，称二者正交或垂直，记为$\bvec{a} \perp \bvec{b}$。
|
||||
\end{definition}
|
||||
|
||||
\begin{theorem}[勾股定理]
|
||||
向量$\bvec{a}, \bvec{b}$正交，则$\norm{\bvec{a} \pm \bvec{b}}^2 = \norm{\bvec{a}}^2 + \norm{\bvec{b}}^2$。
|
||||
\end{theorem}
|
||||
|
||||
\begin{definition}
|
||||
向量$\dfrac{\bvec{a}\trans \bvec{b}}{\bvec{a}\trans \bvec{a}}\bvec{a}$称为向量$\bvec{b}$向直线$\matspan(\bvec{a})$的正交投影。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
设$\bvec{a}, \bvec{b}$是$\realnum^n$中的两个向量，$\bvec{a} \neq \bvec{0}$，则
|
||||
\[\norm{\bvec{b} - \frac{\bvec{a}\trans \bvec{b}}{\bvec{a}\trans \bvec{a}}\bvec{a}} = \min \limits_{x \in \realnum} \norm{\bvec{b} - x \bvec{a}}\eqper\]
|
||||
\end{proposition}
|
||||
|
||||
\subsection{标准正交基}
|
||||
\begin{definition}[正交向量组]
|
||||
设$\bvec{a}_1, \bvec{a}_2,\dots, \bvec{a}_r$是$\realnum^n$中的向量组，如果这些向量都非零且两两正交，则称该向量组为正交向量组。特别地，如果正交向量组中的向量都是单位向量，则称其为正交单位向量组。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
正交向量组线性无关。
|
||||
\end{proposition}
|
||||
|
||||
\begin{definition}[标准正交基]
|
||||
设$\mathcal{M}$是$\realnum^n$的子空间，如果它的一组基是正交向量组，则称之为$\mathcal{M}$的一组正交基；如果他的一组基是正交单位向量组，则称之为$\mathcal{M}$的一组标准正交基。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
设$\mathcal{M}$是$\realnum^n$的子空间，则$\mathcal{M}$存在一组正交基，从而存在一组标准正交基。
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}[标准正交基的基扩张定理]
|
||||
设$\mathcal{M}, \mathcal{N}$是$\realnum^n$的两个子空间，如果$\mathcal{M} \subseteq \mathcal{N}$，则$\mathcal{M}$的任意一组标准正交基都可以扩充成$\mathcal{N}$的一组标准正交基。
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}
|
||||
从$\mathcal{M}$的任意一组基$\bvec{a}_1, \bvec{a}_2, \dots, \bvec{a}_r$出发，通过递归能够得到一组正交基。这种方法称为Gram-Schmidt正交化。具体操作如下：
|
||||
\begin{align*}
|
||||
\widetilde{\bvec{q}}_1 & = \bvec{a}_1,\\
|
||||
\widetilde{\bvec{q}}_2 & = \bvec{a}_2 - \frac{\widetilde{\bvec{q}}_1\trans \bvec{a}_2}{\widetilde{\bvec{q}}_1\trans \widetilde{\bvec{q}}_1}\widetilde{\bvec{q}}_1,\\
|
||||
\widetilde{\bvec{q}}_3 & = \bvec{a}_3 - \frac{\widetilde{\bvec{q}}_1\trans \bvec{a}_3}{\widetilde{\bvec{q}}_1\trans \widetilde{\bvec{q}}_1}\widetilde{\bvec{q}}_1 - \frac{\widetilde{\bvec{q}}_2\trans \bvec{a}_3}{\widetilde{\bvec{q}}_2\trans \widetilde{\bvec{q}}_2}\widetilde{\bvec{q}}_2,\\
|
||||
&\vdots\\
|
||||
\widetilde{\bvec{q}}_r & = \bvec{a}_r - \frac{\widetilde{\bvec{q}}_1\trans \bvec{a}_r}{\widetilde{\bvec{q}}_1\trans \widetilde{\bvec{q}}_1}\widetilde{\bvec{q}}_1 - \frac{\widetilde{\bvec{q}}_2\trans \bvec{a}_r}{\widetilde{\bvec{q}}_2\trans \widetilde{\bvec{q}}_2}\widetilde{\bvec{q}}_2 - \dots - \frac{\widetilde{\bvec{q}}_{r-1}\trans \bvec{a}_r}{\widetilde{\bvec{q}}_{r-1}\trans \widetilde{\bvec{q}}_{r-1}}\widetilde{\bvec{q}}_{r-1}
|
||||
\end{align*}
|
||||
为了得到标准正交基，只要再把正交基中的每个向量都单位化即可：$\bvec{q}_i = \dfrac{\widetilde{\bvec{q}}_i}{\norm{\widetilde{\bvec{q}}_i}}$。
|
||||
\end{proposition}
|
||||
|
||||
\section{正交矩阵和QR分解}
|
||||
\subsection{正交矩阵}
|
||||
\begin{definition}[正交矩阵]
|
||||
一个$n$阶方阵$Q$如果满足$Q\trans Q = I_n$，则称$Q$是$n$阶正交矩阵。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}[正交矩阵的性质]
|
||||
对$n$阶方阵$Q$，一下叙述等价：
|
||||
\begin{enumerate}
|
||||
\item $Q$是正交矩阵，即$Q\trans Q = I_n$；
|
||||
\item $Q$可逆，且$Q\revmat = Q\trans$；
|
||||
\item $QQ\trans = I_n$；
|
||||
\item $Q\trans$是正交矩阵；
|
||||
\item $Q$可逆，且$Q\revmat$是正交矩阵；
|
||||
\item $Q$的列向量组成$\realnum^n$的一组标准正交基；
|
||||
\item $Q$的行向量的转置组成$\realnum^n$的一组标准正交基。
|
||||
\end{enumerate}
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}
|
||||
两个$n$阶正交矩阵的乘积还是$n$阶正交矩阵。
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}
|
||||
对$n$阶方阵$Q$，以下叙述等价：
|
||||
\begin{enumerate}
|
||||
\item $Q$是正交矩阵，即$Q\trans Q = I_n$；
|
||||
\item $Q$为保距变换，即，对任意$\bvec{x} \in \realnum^n$，有$\norm{Q\bvec{x}} = \norm{\bvec{x}}$；
|
||||
\item $Q$为保内积变换，即，对任意$\bvec{x},\bvec{y} \in \realnum^n$，$Q\bvec{x}$与$Q\bvec{y}$的内积等于$\bvec{x}$与$\bvec{y}$的内积。
|
||||
\end{enumerate}
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}
|
||||
给定$\realnum^n$中向量$\bvec{x}, \bvec{y}$，满足$\norm{\bvec{x}} = \norm{\bvec{y}}$，则存在反射$\bvec{H_v}$，其中$\bvec{v} = \dfrac{\bvec{y} - \bvec{x}}{\norm{\bvec{y} - \bvec{x}}}$，使得$\bvec{H_v}(\bvec{x}) = \bvec{y}$。
|
||||
\end{proposition}
|
||||
|
||||
\subsection{QR分解}
|
||||
|
||||
\begin{theorem}[可逆矩阵的QR分解]
|
||||
设$A$是$n$阶可逆矩阵，则存在唯一的分解$A = QR$，其中$Q$是正交矩阵，$R$是对角元都是正数的上三角矩阵。
|
||||
|
||||
在Gram-Schmidt正交化中，设
|
||||
\(A = \begin{bmatrix}
|
||||
\bvec{a}_1 & \bvec{a}_2 & \cdots & \bvec{a}_n
|
||||
\end{bmatrix},
|
||||
\widetilde{Q} = \begin{bmatrix}
|
||||
\widetilde{\bvec{q}}_1 & \widetilde{\bvec{q}}_2 & \cdots & \widetilde{\bvec{q}}_n
|
||||
\end{bmatrix},
|
||||
Q = \begin{bmatrix}
|
||||
\bvec{q}_1 & \bvec{q}_2 & \cdots & \bvec{q}_n
|
||||
\end{bmatrix}\)。
|
||||
第一步正交化可以用矩阵乘法表示：
|
||||
\[A = \widetilde{Q}\widetilde{R}, \widetilde{R} =
|
||||
\begin{bNiceMatrix}
|
||||
1 & \dfrac{\widetilde{\bvec{q}}_1\trans \bvec{a}_2}{\widetilde{\bvec{q}}_1\trans \widetilde{\bvec{q}}_1} & \cdots & \dfrac{\widetilde{\bvec{q}}_1\trans \bvec{a}_n}{\widetilde{\bvec{q}}_1\trans \widetilde{\bvec{q}}_1}\\
|
||||
& 1 & \ddots & \vdots\\
|
||||
& & \ddots & \dfrac{\widetilde{\bvec{q}}_{n-1}\trans \bvec{a}_n}{\widetilde{\bvec{q}}_{n-1}\trans \widetilde{\bvec{q}}_{n-1}}\\
|
||||
& & & 1
|
||||
\end{bNiceMatrix}\]
|
||||
第二步单位化可以写成$\widetilde{Q} = Q \diag(\norm{\widetilde{\bvec{q}}_i})$，因此
|
||||
\[A = Q \diag(\norm{\widetilde{\bvec{q}}_i}) \widetilde{R} = QR\eqper\]
|
||||
\end{theorem}
|
||||
|
||||
\begin{definition}
|
||||
矩阵$Q \in \realnum^{m\times n}$，如果满足$Q\trans Q = I_n$，则称为列正交矩阵。此时$m \geq n$。
|
||||
\end{definition}
|
||||
|
||||
\begin{theorem}[QR分解]
|
||||
对$m \times n$矩阵$A$，其中$m \geq n$，则
|
||||
\begin{enumerate}
|
||||
\item 存在$m \times n$列正交矩阵$Q_1$和具有非负对角元的$n$阶上三角矩阵$R_1$，使得$A = Q_1 R_1$；
|
||||
\item 进一步地，存在$m$阶正交矩阵$Q$和$m \times n$矩阵$R$，使得$A = QR$，其中
|
||||
\(R = \begin{bmatrix}
|
||||
R_1\\ O
|
||||
\end{bmatrix},
|
||||
Q = \begin{bmatrix}
|
||||
Q_1 & Q_2
|
||||
\end{bmatrix}\)，
|
||||
即$Q$的列向量组由$Q_1$的列向量组扩充而成。
|
||||
\end{enumerate}
|
||||
分解$A = QR$称为$A$的QR分解，$A = Q_1R_1$称为$A$的简化QR分解。
|
||||
\end{theorem}
|
||||
|
||||
\section{子空间和投影}
|
||||
\subsection{正交补}
|
||||
\begin{proposition}
|
||||
如果$\bvec{b}$与$\bvec{a}_1, \bvec{a}_2, \dots, \bvec{a}_s$都正交，则$\bvec{b}$与子空间$\matspan(\bvec{a}_1, \bvec{a}_2, \dots, \bvec{a}_s)$中的任意向量都正交。
|
||||
\end{proposition}
|
||||
|
||||
\begin{definition}[子空间正交]
|
||||
给定$\realnum^n$的子空间$\mathcal{M}, \mathcal{N}$，如果$\mathcal{M}$中任意向量和$\mathcal{N}$中任意向量都正交，则称$\mathcal{M}$与$\mathcal{N}$正交，记为$\mathcal{M} \perp \mathcal{N}$。
|
||||
|
||||
特别地，如果$\matspan(\bvec{a}) \perp \mathcal{M}$，则简称向量$\bvec{a}$与子空间$\mathcal{M}$正交，记为$\bvec{a} \perp \mathcal{M}$。
|
||||
\end{definition}
|
||||
|
||||
\begin{definition}[正交补]
|
||||
给定$\realnum^n$的子空间$\mathcal{M}$，$\realnum^n$的子集$\mathcal{M}\orthocomplementation := \{\bvec{a} \in \realnum^n \mid \bvec{a} \perp \mathcal{M}\}$，称为$\mathcal{M}$的正交补。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
如果$\mathcal{M}$是$\realnum^n$的子空间，则其正交补$\mathcal{M}\orthocomplementation$也是$\realnum^n$的子空间。
|
||||
\end{proposition}
|
||||
|
||||
\begin{proposition}
|
||||
对$\realnum^n$的子空间$\mathcal{M}$，有：
|
||||
\begin{enumerate}
|
||||
\item $\mathcal{M} \cap \mathcal{M}\orthocomplementation = \{\bvec{0}\}$；
|
||||
\item $\dim \mathcal{M}\orthocomplementation = n - \dim \mathcal{M}$；
|
||||
\item $(\mathcal{M}\orthocomplementation)\orthocomplementation = \mathcal{M}$；
|
||||
\item 对任意$\bvec{a} \in \realnum^n$，都存在唯一的分解$\bvec{a} = \bvec{a}_1 + \bvec{a}_2$，使得$\bvec{a}_1 \in \mathcal{M}, \bvec{a}_2 \in \mathcal{M}\orthocomplementation$。
|
||||
\end{enumerate}
|
||||
\end{proposition}
|
||||
|
||||
\begin{theorem}
|
||||
给定$m \times n$矩阵$A$，则：
|
||||
\begin{enumerate}
|
||||
\item $\columnspace{A\trans}\orthocomplementation = \nullspace{A}, \columnspace{A}\orthocomplementation = \nullspace{A\trans}$；
|
||||
\item $\columnspace{A\trans A} = \columnspace{A\trans}, \nullspace{A\trans A} = \nullspace{A}$；
|
||||
\end{enumerate}
|
||||
\end{theorem}
|
||||
|
||||
\subsection{正交投影}
|
||||
\begin{definition}
|
||||
给定$\realnum^n$的子空间$\mathcal{M}$，线性变换$\bvec{P}_\mathcal{M}$称为子空间$\mathcal{M}$上的正交投影（变换），而$\bvec{a}_1 = \bvec{P}_\mathcal{M}(\bvec{a})$称为向量$\bvec{a}$在$\mathcal{M}$上的正交投影。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
给定$\realnum^n$的子空间$\mathcal{M}$和向量$\bvec{a}$，而$\bvec{a}_1 = \bvec{P}_\mathcal{M}(\bvec{a})$为$\bvec{a}$在$\mathcal{M}$上的正交投影，则$\norm{\bvec{a} - \bvec{a}_1} = \min \limits_{\bvec{x} \in \mathcal{M}} \norm{\bvec{a} - \bvec{x}}$。
|
||||
|
||||
如何计算正交投影：设$\listout{\bvec{q}}{r}$是$\mathcal{M}$的一组标准正交基。令
|
||||
\(Q_R = \begin{bmatrix}
|
||||
\bvec{q}_1 & \cdots & \bvec{q}_r
|
||||
\end{bmatrix}\)，
|
||||
它是列正交矩阵。正交投影$\bvec{P}_\mathcal{M}$的表示矩阵就是$Q_r Q_r\trans$，记为$P_\mathcal{M}$。
|
||||
\end{proposition}
|
||||
|
||||
\begin{definition}
|
||||
给定矩阵$A$，其列空间上的正交投影的表示矩阵$P_{\columnspace{A}}$，称为关于$A$的正交投影矩阵，简记为$P_A$。
|
||||
\end{definition}
|
||||
|
||||
\begin{proposition}
|
||||
给定$n$阶方阵$P$，则$P$是正交投影矩阵，当且仅当$P^2 = P\trans = P$。
|
||||
\end{proposition}
|
||||
|
||||
\subsection{最小二乘问题}
|
||||
\begin{theorem}
|
||||
向量$\bvec{x}$是线性方程组$A\bvec{x} = \bvec{b}$的最小二乘解，当且仅当$A\trans A \bvec{x} = A\trans \bvec{b}$。
|
||||
\end{theorem}
|
||||
Reference in New Issue
Block a user