227 lines
10 KiB
TeX
227 lines
10 KiB
TeX
\chapter{实对称矩阵}
|
||
\section{实对称矩阵的谱分解}
|
||
\begin{proposition}
|
||
实对称矩阵的特征多项式的根都是实根，即实对称矩阵在$\complexnum$上的特征值都是实数。
|
||
\end{proposition}
|
||
|
||
\begin{theorem}[实对称矩阵的谱分解]
|
||
对$n$阶实对称矩阵$A$，存在$n$阶正交矩阵$Q$和实对角矩阵$\varLambda$，使得$A = Q\varLambda Q\trans$。分解$A = Q\varLambda Q\trans$称为实对称矩阵$A$的谱分解。
|
||
\end{theorem}
|
||
|
||
\begin{example}
|
||
将$A$对角化。
|
||
\end{example}
|
||
\begin{enumerate}
|
||
\item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。
|
||
\item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。
|
||
\item 利用Gram-Schmidt正交化方法得到每个特征值所述的特征子空间的标准正交基\[\bvec{q}_{i,1}, \bvec{q}_{i,2}, \dots, \bvec{q}_{i,r_i}\]
|
||
\item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令
|
||
\[Q = \begin{bmatrix}
|
||
\bvec{q}_{1,1} & \cdots & \bvec{q}_{1,r_1} & \bvec{q}_{2,1} & \cdots & \bvec{q}_{2, r_2} & \cdots & \bvec{q}_{k,1} & \cdots & \bvec{q}_{k, r_k}
|
||
\end{bmatrix}\]
|
||
\[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\]
|
||
则有$A = Q\varLambda Q\trans$。
|
||
\end{enumerate}
|
||
|
||
\begin{corollary}
|
||
实对称矩阵属于不同特征值的特征向量互相正交。
|
||
\end{corollary}
|
||
|
||
\begin{definition}[正交相似]
|
||
对实方阵$A, B$，如果存在正交矩阵$Q$使得$Q\trans AQ = B$，则称$A$和$B$正交相似，或$A$正交相似于$B$。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
实方阵的正交相似关系是等价关系。
|
||
\end{proposition}
|
||
|
||
\begin{definition}[Rayleigh商]
|
||
给定实矩阵$A$和非零向量$\bvec{x} \in \realnum^n$，实数$\dfrac{\bvec{x}\trans A \bvec{x}}{\bvec{x}\trans \bvec{x}}$称为$\bvec{x}$关于$A$的Rayleigh商。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
设实对称矩阵$A$的特征值为$\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n$，相应的特征向量为$\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_n$，则
|
||
\[\lambda_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_{i - 1})} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 2, \dots, n\]
|
||
类似地，有
|
||
\[\lambda_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_{i+1}, \dots, \bvec{q}_n)} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 1, 2, \dots, n -1\]
|
||
\end{proposition}
|
||
|
||
\section{正定矩阵}
|
||
\begin{definition}[正定矩阵]
|
||
给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有$\bvec{x}\trans A \bvec{x} > 0$，则称$A$正定。
|
||
\end{definition}
|
||
|
||
\begin{definition}[顺序主子式]
|
||
矩阵$A$的第$i$个顺序主子阵的行列式称为其第$i$个顺序主子式。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
对实对称矩阵$A$，以下叙述等价：
|
||
\begin{enumerate}
|
||
\item $A$正定；
|
||
\item $A$的特征值都是正数；
|
||
\item 存在可逆矩阵$T$，使得$A = TT\trans$；
|
||
\item $A$有$LDL\trans$分解，且$D$的对角元素都是整数；
|
||
\item $A$的顺序主子式都是正数；
|
||
\item $A$的顺序主子阵都正定。
|
||
\end{enumerate}
|
||
\end{proposition}
|
||
|
||
\begin{definition}
|
||
给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有
|
||
\begin{enumerate}
|
||
\item $\bvec{x}\trans A \bvec{x} > 0$，则称矩阵$A$正定，如前定义；
|
||
\item $\bvec{x}\trans A \bvec{x} \geq 0$，则称矩阵$A$半正定；
|
||
\item $\bvec{x}\trans A \bvec{x} < 0$，则称矩阵$A$负定；
|
||
\item $\bvec{x}\trans A \bvec{x} \leq 0$，则称矩阵$A$半负定；
|
||
\end{enumerate}
|
||
如果$A$不满足以上任何一种条件，则称$A$不定。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
对实对称矩阵$A$，以下叙述等价：
|
||
\begin{enumerate}
|
||
\item $A$半正定；
|
||
\item $A$的特征值都是非负数；
|
||
\item 存在矩阵$T$，使得$A = TT\trans$；
|
||
\item $A$存在$LDL\trans$分解，且$D$的对角元素都是非负数。
|
||
\end{enumerate}
|
||
\end{proposition}
|
||
|
||
\begin{proposition}
|
||
对$n$阶实对称矩阵$A$，如果存在$\bvec{x}, \bvec{y} \in \realnum^n$，使得$\bvec{x}\trans A \bvec{x} > 0, \bvec{y}\trans A \bvec{y} < 0$，则存在非零向量$\bvec{z} \in \realnum^n$，使得$\bvec{z}\trans A\bvec{z} = 0$。
|
||
\end{proposition}
|
||
|
||
\begin{definition}[合同]
|
||
对方阵$A$，如果存在可逆矩阵$X$使得$X\trans A X = B$，则称$A$和$B$合同，或$A$合同于$B$。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
方阵的合同关系是等价关系。
|
||
\end{proposition}
|
||
|
||
\begin{proposition}
|
||
对实对称矩阵$A$，存在可逆矩阵$X$，使得$X\trans AX = J = \begin{bmatrix}
|
||
I_p & & \\
|
||
& -I_{r-p} &\\
|
||
& & O
|
||
\end{bmatrix}$，
|
||
其中$r = \rank(A), 0 \leq p \leq r$。
|
||
|
||
$J$称为实对称矩阵$A$的合同标准形。
|
||
\end{proposition}
|
||
|
||
\begin{theorem}[Sylvester惯性定律]
|
||
实对称矩阵的合同标准形唯一，且它的合同标准形中正、负、零对角元的个数分别和它的正、负、零特征值的个数相等。
|
||
\end{theorem}
|
||
|
||
\section{奇异值分解}
|
||
如果不加特别说明，本节中的矩阵都是实矩阵。
|
||
\subsection{基本概念}
|
||
\begin{definition}[奇异值]
|
||
给定$m \times n$矩阵$A$，如果存在非零向量$\bvec{x} \in \realnum^n, \bvec{y} \in \realnum^m, \sigma \geq 0$，使得$A\bvec{x} = \sigma \bvec{y}, A\trans \bvec{y} = \sigma \bvec{x}$，则称$\sigma$为$A$的一个奇异值，$\bvec{x}$为$A$的属于$\sigma$的一个右奇异向量，$\bvec{y}$为$A$的属于$\sigma$的一个左奇异向量。
|
||
\end{definition}
|
||
|
||
\begin{theorem}[奇异值分解]
|
||
给定$m \times n$矩阵$A$，存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$，使得$A = U\Sigma V\trans$，其中
|
||
\[\Sigma = \begin{bmatrix}
|
||
\Sigma_r & O\\
|
||
O & O
|
||
\end{bmatrix},
|
||
\Sigma_r = \begin{bmatrix}
|
||
\sigma_1 & & & \\
|
||
& \sigma_2 & & \\
|
||
& & \ddots & \\
|
||
& & & \sigma_r
|
||
\end{bmatrix}, \sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0\eqper\]
|
||
分解$A = U\Sigma V\trans$称为$A$的奇异值分解，简称SVD。
|
||
\end{theorem}
|
||
|
||
计算奇异值分解：
|
||
\begin{example}
|
||
求$A$的奇异值。
|
||
\end{example}
|
||
\begin{enumerate}
|
||
\item 求$A\trans A$的谱分解$A\trans A = V \varLambda V\trans$。
|
||
\item 将$\varLambda$中的每个非零元素开根号得到$\Sigma_r$。注意$A\trans A$是半正定的，因此特征值都是非负数。将$\Sigma_r$的右侧和下侧补零使得它的尺寸和$A$相同，得到$\Sigma$。
|
||
\item 假设$\Sigma_r$只有$r$列。那么$V$的前$r$列我们记为$V_1$。计算$U_1 = AV_1 \Sigma_r\revmat$，再把$U_1$补成一组标准正交基$U$。
|
||
\item 这样得到$A = U\Sigma V\trans$。
|
||
\end{enumerate}
|
||
|
||
\begin{proposition}
|
||
对$A$的奇异值分解$A = U\Sigma V\trans$，记
|
||
\(U = \begin{bmatrix}
|
||
\bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_m
|
||
\end{bmatrix},
|
||
V = \begin{bmatrix}
|
||
\bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_n
|
||
\end{bmatrix}\)，则有：
|
||
\begin{enumerate}
|
||
\item $\bvec{u}_1, \bvec{u}_2, \dots, \bvec{u}_r$是$\columnspace{A}$的一组标准正交基；
|
||
\item $\bvec{u}_{r+1}, \bvec{u}_{r+2}, \dots, \bvec{u}_m$是$\nullspace{A\trans}$的一组标准正交基；
|
||
\item $\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_r$是$\columnspace{A\trans}$的一组标准正交基；
|
||
\item $\bvec{v}_{r+1}, \bvec{v}_{r+2}, \dots, \bvec{v}_n$是$\nullspace{A}$的一组标准正交基。
|
||
\end{enumerate}
|
||
记
|
||
\(U_r = \begin{bmatrix}
|
||
\bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_r
|
||
\end{bmatrix},
|
||
V_r = \begin{bmatrix}
|
||
\bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_r
|
||
\end{bmatrix}\)，
|
||
则
|
||
\[A = U_r\Sigma_rV_r\trans\]
|
||
这称为$A$的简化奇异值分解。
|
||
\end{proposition}
|
||
|
||
\begin{definition}[广义逆]
|
||
设$A$是$m \times n$矩阵。那么$A$的广义逆为满足下列性质的$B$。
|
||
\begin{enumerate}
|
||
\item $ABA = A$；
|
||
\item $BAB = B$；
|
||
\item $(AB)\trans = AB$；
|
||
\item $(BA)\trans = BA$。
|
||
\end{enumerate}
|
||
记$A^+ := B$。
|
||
\end{definition}
|
||
|
||
\begin{theorem}
|
||
$A$的广义逆$A^+$存在且唯一。
|
||
\end{theorem}
|
||
|
||
\begin{remark}
|
||
\begin{enumerate}
|
||
\item $(A^+)^+ = A$；
|
||
\item 若$A$为可逆矩阵，则$A\revmat = A^+$。
|
||
\end{enumerate}
|
||
\end{remark}
|
||
|
||
\begin{proposition}
|
||
设$A = U_r \Sigma_r V_r\trans$为$A$的简化奇异值分解。那么$A^+ = V_r \Sigma_r U_r\trans$为$A$的广义逆。
|
||
\end{proposition}
|
||
|
||
\begin{definition}[矩阵的谱范数]
|
||
对任意矩阵$A$，非负数$\max \limits_{\bvec{x} \neq \bvec{0}} \dfrac{\norm{A\bvec{x}}}{\norm{\bvec{x}}}$称为矩阵$A$的谱范数，记为$\norm{A}$。
|
||
\end{definition}
|
||
|
||
\begin{proposition}
|
||
矩阵的谱范数满足：
|
||
\begin{enumerate}
|
||
\item $\norm{A} \geq 0$，且$\norm{A} = 0$当且仅当$A = O$；
|
||
\item $\norm{kA} = \abs{k}\norm{A}$；
|
||
\item $\norm{A + B} \leq \norm{A} + \norm{B}$；
|
||
\item $\norm{AB} \leq \norm{A}\norm{B}$；
|
||
\item 如果$U,V$正交，则$\norm{UAV\trans} = \norm{A}$。
|
||
\end{enumerate}
|
||
\end{proposition}
|
||
|
||
\begin{proposition}
|
||
对任意矩阵$A$，矩阵的谱范数$\norm{A}$等于$A$的最大奇异值。
|
||
\end{proposition}
|
||
|
||
\begin{proposition}
|
||
设$m \times n$实矩阵$A$的奇异值为$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_n$，相应的右奇异向量为$\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_n$，则
|
||
\[\sigma_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_{i - 1})} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 2, \dots, n\]
|
||
类似地，有
|
||
\[\sigma_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_{i+1}, \dots, \bvec{v}_n)} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 1, 2, \dots, n -1\]
|
||
\end{proposition} |