\chapter{实对称矩阵}
\section{实对称矩阵的谱分解}
\begin{proposition}
    实对称矩阵的特征多项式的根都是实根，即实对称矩阵在$\complexnum$上的特征值都是实数。
\end{proposition}

\begin{theorem}[实对称矩阵的谱分解]
    对$n$阶实对称矩阵$A$，存在$n$阶正交矩阵$Q$和实对角矩阵$\varLambda$，使得$A = Q\varLambda Q\trans$。分解$A = Q\varLambda Q\trans$称为实对称矩阵$A$的谱分解。
\end{theorem}

\begin{example}
    将$A$对角化。
\end{example}
\begin{enumerate}
    \item 求特征值：求$\det(\lambda I - A) = 0$的根$\lambda_1, \lambda_2, \dots, \lambda_k$。
    \item 对每个$\lambda_i$，求$\nullspace{\lambda_i I - A}$的一组基$\bvec{x}_{i,1}, \bvec{x}_{i,2}, \dots, \bvec{x}_{i,r_i}$。
    \item 利用Gram-Schmidt正交化方法得到每个特征值所述的特征子空间的标准正交基\[\bvec{q}_{i,1}, \bvec{q}_{i,2}, \dots, \bvec{q}_{i,r_i}\]
    \item 若有亏损特征值，则$A$不可对角化；若所有的特征值都是半单的，则令
    \[Q = \begin{bmatrix}
        \bvec{q}_{1,1} & \cdots & \bvec{q}_{1,r_1} & \bvec{q}_{2,1} & \cdots & \bvec{q}_{2, r_2} & \cdots & \bvec{q}_{k,1} & \cdots & \bvec{q}_{k, r_k}
    \end{bmatrix}\]
    \[\varLambda = \diag(\underbrace{\lambda_1 \dots \lambda_1}_{r_1\text{个}}\underbrace{\lambda_2 \dots \lambda_2}_{r_2\text{个}}\dots \underbrace{\lambda_k \dots \lambda_k}_{r_k\text{个}})\]
    则有$A = Q\varLambda Q\trans$。
\end{enumerate}

\begin{corollary}
    实对称矩阵属于不同特征值的特征向量互相正交。
\end{corollary}

\begin{definition}[正交相似]
    对实方阵$A, B$，如果存在正交矩阵$Q$使得$Q\trans AQ = B$，则称$A$和$B$正交相似，或$A$正交相似于$B$。
\end{definition}

\begin{proposition}
    实方阵的正交相似关系是等价关系。
\end{proposition}

\begin{definition}[Rayleigh商]
    给定实矩阵$A$和非零向量$\bvec{x} \in \realnum^n$，实数$\dfrac{\bvec{x}\trans A \bvec{x}}{\bvec{x}\trans \bvec{x}}$称为$\bvec{x}$关于$A$的Rayleigh商。
\end{definition}

\begin{proposition}
    设实对称矩阵$A$的特征值为$\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_n$，相应的特征向量为$\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_n$，则
    \[\lambda_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_1, \bvec{q}_2, \dots, \bvec{q}_{i - 1})} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 2, \dots, n\]
    类似地，有
    \[\lambda_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, \lambda_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{q}_{i+1}, \dots, \bvec{q}_n)} \frac{\bvec{x}\trans A\bvec{x}}{\bvec{x}\trans \bvec{x}}, i = 1, 2, \dots, n -1\]
\end{proposition}

\section{正定矩阵}
\begin{definition}[正定矩阵]
    给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有$\bvec{x}\trans A \bvec{x} > 0$，则称$A$正定。
\end{definition}

\begin{definition}[顺序主子式]
    矩阵$A$的第$i$个顺序主子阵的行列式称为其第$i$个顺序主子式。
\end{definition}

\begin{proposition}
    对实对称矩阵$A$，以下叙述等价：
    \begin{enumerate}
        \item $A$正定；
        \item $A$的特征值都是正数；
        \item 存在可逆矩阵$T$，使得$A = TT\trans$；
        \item $A$有$LDL\trans$分解，且$D$的对角元素都是整数；
        \item $A$的顺序主子式都是正数；
        \item $A$的顺序主子阵都正定。
    \end{enumerate}
\end{proposition}

\begin{definition}
    给定$n$阶实矩阵$A$，如果对任意非零向量$\bvec{x} \in \realnum^n$，都有
    \begin{enumerate}
        \item $\bvec{x}\trans A \bvec{x} > 0$，则称矩阵$A$正定，如前定义；
        \item $\bvec{x}\trans A \bvec{x} \geq 0$，则称矩阵$A$半正定；
        \item $\bvec{x}\trans A \bvec{x} < 0$，则称矩阵$A$负定；
        \item $\bvec{x}\trans A \bvec{x} \leq 0$，则称矩阵$A$半负定；
    \end{enumerate}
    如果$A$不满足以上任何一种条件，则称$A$不定。
\end{definition}

\begin{proposition}
    对实对称矩阵$A$，以下叙述等价：
    \begin{enumerate}
        \item $A$半正定；
        \item $A$的特征值都是非负数；
        \item 存在矩阵$T$，使得$A = TT\trans$；
        \item $A$存在$LDL\trans$分解，且$D$的对角元素都是非负数。
    \end{enumerate}
\end{proposition}

\begin{proposition}
    对$n$阶实对称矩阵$A$，如果存在$\bvec{x}, \bvec{y} \in \realnum^n$，使得$\bvec{x}\trans A \bvec{x} > 0, \bvec{y}\trans A \bvec{y} < 0$，则存在非零向量$\bvec{z} \in \realnum^n$，使得$\bvec{z}\trans A\bvec{z} = 0$。
\end{proposition}

\begin{definition}[合同]
    对方阵$A$，如果存在可逆矩阵$X$使得$X\trans A X = B$，则称$A$和$B$合同，或$A$合同于$B$。
\end{definition}

\begin{proposition}
    方阵的合同关系是等价关系。
\end{proposition}

\begin{proposition}
    对实对称矩阵$A$，存在可逆矩阵$X$，使得$X\trans AX = J = \begin{bmatrix}
        I_p & & \\
        & -I_{r-p} &\\
        & & O
    \end{bmatrix}$，
    其中$r = \rank(A), 0 \leq p \leq r$。

    $J$称为实对称矩阵$A$的合同标准形。
\end{proposition}

\begin{theorem}[Sylvester惯性定律]
    实对称矩阵的合同标准形唯一，且它的合同标准形中正、负、零对角元的个数分别和它的正、负、零特征值的个数相等。
\end{theorem}

\section{奇异值分解}
如果不加特别说明，本节中的矩阵都是实矩阵。
\subsection{基本概念}
\begin{definition}[奇异值]
    给定$m \times n$矩阵$A$，如果存在非零向量$\bvec{x} \in \realnum^n, \bvec{y} \in \realnum^m, \sigma \geq 0$，使得$A\bvec{x} = \sigma \bvec{y}, A\trans \bvec{y} = \sigma \bvec{x}$，则称$\sigma$为$A$的一个奇异值，$\bvec{x}$为$A$的属于$\sigma$的一个右奇异向量，$\bvec{y}$为$A$的属于$\sigma$的一个左奇异向量。
\end{definition}

\begin{theorem}[奇异值分解]
    给定$m \times n$矩阵$A$，存在$m$阶正交矩阵$U$和$n$阶正交矩阵$V$，使得$A = U\Sigma V\trans$，其中
    \[\Sigma = \begin{bmatrix}
        \Sigma_r & O\\
        O & O
    \end{bmatrix},
    \Sigma_r = \begin{bmatrix}
        \sigma_1 & & & \\
        & \sigma_2 & & \\
        & & \ddots & \\
        & & & \sigma_r
    \end{bmatrix}, \sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_r > 0\eqper\]
    分解$A = U\Sigma V\trans$称为$A$的奇异值分解，简称SVD。
\end{theorem}

计算奇异值分解：
\begin{example}
    求$A$的奇异值。
\end{example}
\begin{enumerate}
    \item 求$A\trans A$的谱分解$A\trans A = V \varLambda V\trans$。
    \item 将$\varLambda$中的每个非零元素开根号得到$\Sigma_r$。注意$A\trans A$是半正定的，因此特征值都是非负数。将$\Sigma_r$的右侧和下侧补零使得它的尺寸和$A$相同，得到$\Sigma$。
    \item 假设$\Sigma_r$只有$r$列。那么$V$的前$r$列我们记为$V_1$。计算$U_1 = AV_1 \Sigma_r\revmat$，再把$U_1$补成一组标准正交基$U$。
    \item 这样得到$A = U\Sigma V\trans$。
\end{enumerate}

\begin{proposition}
    对$A$的奇异值分解$A = U\Sigma V\trans$，记
    \(U = \begin{bmatrix}
        \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_m
    \end{bmatrix},
    V = \begin{bmatrix}
        \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_n
    \end{bmatrix}\)，则有：
    \begin{enumerate}
        \item $\bvec{u}_1, \bvec{u}_2, \dots, \bvec{u}_r$是$\columnspace{A}$的一组标准正交基；
        \item $\bvec{u}_{r+1}, \bvec{u}_{r+2}, \dots, \bvec{u}_m$是$\nullspace{A\trans}$的一组标准正交基；
        \item $\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_r$是$\columnspace{A\trans}$的一组标准正交基；
        \item $\bvec{v}_{r+1}, \bvec{v}_{r+2}, \dots, \bvec{v}_n$是$\nullspace{A}$的一组标准正交基。
    \end{enumerate}
    记
    \(U_r = \begin{bmatrix}
        \bvec{u}_1 & \bvec{u}_2 & \cdots & \bvec{u}_r
    \end{bmatrix},
    V_r = \begin{bmatrix}
        \bvec{v}_1 & \bvec{v}_2 & \cdots & \bvec{v}_r
    \end{bmatrix}\)，
    则
    \[A = U_r\Sigma_rV_r\trans\]
    这称为$A$的简化奇异值分解。
\end{proposition}

\begin{definition}[广义逆]
    设$A$是$m \times n$矩阵。那么$A$的广义逆为满足下列性质的$B$。
    \begin{enumerate}
        \item $ABA = A$；
        \item $BAB = B$；
        \item $(AB)\trans = AB$；
        \item $(BA)\trans = BA$。
    \end{enumerate}
    记$A^+ := B$。
\end{definition}

\begin{theorem}
    $A$的广义逆$A^+$存在且唯一。
\end{theorem}

\begin{remark}
    \begin{enumerate}
        \item $(A^+)^+ = A$；
        \item 若$A$为可逆矩阵，则$A\revmat = A^+$。
    \end{enumerate}
\end{remark}

\begin{proposition}
    设$A = U_r \Sigma_r V_r\trans$为$A$的简化奇异值分解。那么$A^+ = V_r \Sigma_r U_r\trans$为$A$的广义逆。
\end{proposition}

\begin{definition}[矩阵的谱范数]
    对任意矩阵$A$，非负数$\max \limits_{\bvec{x} \neq \bvec{0}} \dfrac{\norm{A\bvec{x}}}{\norm{\bvec{x}}}$称为矩阵$A$的谱范数，记为$\norm{A}$。
\end{definition}

\begin{proposition}
    矩阵的谱范数满足：
    \begin{enumerate}
        \item $\norm{A} \geq 0$，且$\norm{A} = 0$当且仅当$A = O$；
        \item $\norm{kA} = \abs{k}\norm{A}$；
        \item $\norm{A + B} \leq \norm{A} + \norm{B}$；
        \item $\norm{AB} \leq \norm{A}\norm{B}$；
        \item 如果$U,V$正交，则$\norm{UAV\trans} = \norm{A}$。
    \end{enumerate}
\end{proposition}

\begin{proposition}
    对任意矩阵$A$，矩阵的谱范数$\norm{A}$等于$A$的最大奇异值。
\end{proposition}

\begin{proposition}
    设$m \times n$实矩阵$A$的奇异值为$\sigma_1 \geq \sigma_2 \geq \dots \geq \sigma_n$，相应的右奇异向量为$\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_n$，则
    \[\sigma_1 = \max \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \max \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_1, \bvec{v}_2, \dots, \bvec{v}_{i - 1})} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 2, \dots, n\]
    类似地，有
    \[\sigma_1 = \min \limits_{\bvec{x} \neq \bvec{0}} \frac{\norm{A\bvec{x}}}{\bvec{x}}, \sigma_i = \min \limits_{\bvec{x} \neq 0, \bvec{x} \perp \matspan(\bvec{v}_{i+1}, \dots, \bvec{v}_n)} \frac{\norm{A\bvec{x}}}{\bvec{x}}, i = 1, 2, \dots, n -1\]
\end{proposition}