第九周。

14多变量函数的微分学.tex

@@ -288,4 +288,261 @@ J_y \bvec{F} = \begin{bmatrix}
         \item 对$\bvec{x} \in B_\delta (\bvec{x}_0)$，$\bvec{y} = \bvec{f}(\bvec{x})$，有
         \[J\bvec{f}(\bvec{x}) = -(J_y \bvec{F}(\bvec{x}, \bvec{y}))^{-1} J_x \bvec{F}(\bvec{x}, \bvec{y})\eqper\]
     \end{enumerate}
-\end{theorem}
+\end{theorem}
+
+\section{逆映射定理}
+给定$\boldf: D \to \ndreal$，$D \subset \ndreal$。考察\boldf 的反函数及其性质：$\bvec{y} = \boldf^{-1}(\bvec{x})$。
+
+考虑应用隐函数定理。$\bvec{y} = \boldf^{-1}(\bvec{x})$意味着$\bvec{x} = \boldf(\bvec{x})$。因此定义$\bvec{F}:\tilde{D} \to \ndreal$，满足
+\[\bvec{F}(\bvec{x}, \bvec{y}) = \bvec{x} - \boldf(\bvec{y}), (\bvec{x}, \bvec{y}) \in \ndreal \times D = \tilde{D} \subset \realnum^{2n}\]
+再取$\bvec{y}_0 \in D\interior$，$\bvec{x}_0 = \boldf(\bvec{y}_0)$，那么$(\bvec{x}_0, \bvec{y}_0) \in \tilde{D}\interior$，$\bvec{F}(\bvec{x}_0, \bvec{y}_0) = \bvec{0}$。
+
+如果我们假设$\bvec{f} \in C^1$，那么
+\[J_{\bvec{y}} \bvec{F}(\bvec{x}, \bvec{y}) = -J \bvec{f}(\bvec{y})\]
+且
+\[J_{\bvec{x}} \bvec{F}(\bvec{x}, \bvec{y}) = J\bvec{x} = \bvec{I}_n \eqper\]
+
+\begin{theorem}[逆映射定理（局部）]
+    设$\bvec{f} \in C^1(D, \ndreal), D \subset \ndreal, \bvec{y}_0 \in D\interior$满足$\det(J\bvec{f}(\bvec{y}_0)) \neq 0$，那么存在$\delta, \eta > 0$以及函数$\bvec{g}: B_\delta (\bvec{x}_0) \to B_\eta(\bvec{y}_0)$，其中$\bvec{x}_0 = \bvec{f}(\bvec{y}_0)$满足以下性质：
+    \begin{enumerate}
+        \item 对任意的$\bvec{x}$满足$\norm{\bvec{x} - \bvec{x}_0} < \delta$，$\bvec{g}(\bvec{x}_0) = \bvec{y}_0$，$\bvec{f}(\bvec{g}(\bvec{x})) = \bvec{x}$；
+        \item $\bvec{g} \in C^1(B_\delta(\bvec{x}_0), \ndreal)$；
+        \item $J\bvec{g}(\bvec{x}) = [J\bvec{f}(\bvec{y})]^{-1}$，其中$\bvec{y} = \bvec{g}(\bvec{x})$。
+    \end{enumerate}
+\end{theorem}
+
+\begin{theorem}[逆映射定理]
+    设$\bvec{f} \in C^1(D, \ndreal), D \subset\ndreal$为开集，且$\bvec{f}:D \to \ndreal$为单射，对任意的$\bvec{y}$，$\det(J\bvec{f}(\bvec{y})) \neq 0$。则记$\Omega = \bvec{f}(D)$，存在$\bvec{f}$的反函数$\bvec{f}^{-1} \in C^1 (\Omega, \ndreal)$且对任意的$\bvec{x} \in \Omega$，
+    \[J\bvec{f}^{-1}(\bvec{x}) = (J\bvec{f}(\bvec{y}))^{-1}, \bvec{y} = \bvec{f}^{-1}(\bvec{x})\eqper\]
+\end{theorem}
+
+\section{高阶偏导数}
+\begin{definition}
+    设在开集$D$上的每一点，函数$f$存在偏导数
+    \[D_i f(\bvec{x}) = \frac{\partial f}{\partial x_i}(\bvec{x}), i = 1, 2, \dots, n\]
+    称他们为$f$的一阶偏导数，如果对这些偏导函数又可取偏导数，得出的就是$f$的二阶偏导函数，仿照此可以定义三阶偏导函数乃至更高阶的偏导数。我们将以一阶偏导数$\dfrac{\partial f}{\partial x_j}$再对$x_i$求偏导数时，把$\dfrac{\partial}{\partial x_i}\left(\dfrac{\partial f}{\partial x_j}\right)$记作$\dfrac{\partial^2 f}{\partial x_i \partial x_j}$，如果$i = j$，那么把$\dfrac{\partial^2 f}{\partial x_i \partial x_i}$记作$\dfrac{\partial^2 f}{\partial x_i^2}$。
+\end{definition}
+
+\begin{theorem}[Clairaut定理]
+    设$f:D \to \realnum$，$D \subset \realnum^2$是开集，$P = (x_0, y_0) \in D$。若$\dfrac{\partial^2 f}{\partial x \partial y}$和$\dfrac{\partial^2 f}{\partial y \partial x}$在$D$内存在且在$P$点连续，那么二者在该点相等。
+\end{theorem}
+
+\begin{corollary}
+    设$f: D \to \realnum$，$D \subset \ndreal$是开集。若$f$在$D$内所有$k$阶偏导数都存在且连续，则$k$阶偏导数的值与关于自变量的求导次序无关。
+\end{corollary}
+
+\section{拟微分平均值定理}
+这个下面这个定理主要阐述的是多元数值函数的中值定理。
+\begin{theorem}
+    设定义在凸区域$D \subset \ndreal$上的函数$f$可微，则对任何两点$\bvec{a}, \bvec{b} \in D$，在由$\bvec{a}$与$\bvec{b}$确定的直线段上有一点$\bvec{\xi}$使得
+    \[f(\bvec{b}) - f(\bvec{a}) = Jf(\bvec{\xi})(\bvec{b} - \bvec{a})\eqper\]
+\end{theorem}
+
+对于向量值函数，中值定理不一定成立，而有下面的拟微分平均值定理：
+\begin{theorem}[拟微分平均值定理]
+    设凸区域$D \subset \ndreal$且$\boldf: D \to \realnum^m$，映射\boldf 在$D$上可微，则对于任何$\bvec{a}, \bvec{b} \in D$，在由$\bvec{a}, \bvec{b}$确定的线段上必有一点$\bvec{\xi}$使得
+    \[\norm{\boldf(\bvec{b}) - \boldf(\bvec{a})} \leq \norm{J\boldf(\bvec{\xi})} \norm{\bvec{b} - \bvec{a}}\eqper\]
+\end{theorem}
+
+\begin{corollary}
+    设区域$D \subset \ndreal$，$\bvec{f}:D \to \realnum^m$，如果$J\bvec{f} = \bvec{0}$在$D$上成立，则\boldf 在$D$上为一常向量。
+\end{corollary}
+
+\section{Taylor公式}
+考虑用多项式近似一个多元函数，即对在$\bvec{a}$点有$m + 1$阶连续偏导数的$n$元函数$f(x)$，是否有$m$次多项式$P_m(\bvec{x})$，使得
+\[f(\bvec{a} + \Delta \bvec{x}) = P_m (\Delta \bvec{x}) + o(\norm{\Delta \bvec{x}}^m)\]
+成立？
+
+我们设$f \in C^{m + 1}(B_r(\bvec{a})), \bvec{a} \in \ndreal, r > 0$，那么对任意满足$\norm{\Delta \bvec{x}} < r$的$\Delta \bvec{x}$，定义
+\[\varphi(t) = f(\bvec{a} + t\Delta \bvec{x}) \in C^{m + 1}[0, 1]\]
+应用一元函数的Taylor公式：对任意的$t \in [0, 1]$，都存在$\theta \in (0, 1)$满足
+\[\varphi(t) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!}t^k + \frac{\varphi^{(m + 1)}(\theta t)}{(m + 1)!} t^{m + 1}\]
+特别取$t = 1$得到
+\[\varphi(1) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!} + \frac{\varphi^{(m + 1)}(\theta)}{(m + 1)!}\]
+将引入的一元函数的表达式带入（特别注意求导项的带入）：
+计算
+\begin{align*}
+    & \deriv{\varphi} (t) = \sum_{i = 1}^n \frac{\partial f(\bvec{a} + t\Delta \bvec{x})}{\partial x_i} \Delta x_i, \deriv{\varphi}(0) = \sum_{i = 1}^n \frac{\partial f(\bvec{a})}{\partial x_i}\Delta x_i\\
+    & \varphi^{\prime \prime} (t) = \sum_{i, j = 1}^n \frac{\partial^2 f(\bvec{a} + t\Delta \bvec{x})}{\partial x_i \partial x_j} \Delta x_i \Delta x_j, \varphi^{\prime \prime} (0) = \sum_{i, j = 1}^n \frac{\partial ^2 f(\bvec{a})}{\partial x_i \partial x_j}\Delta x_i \Delta x_j\\
+    & \dots \dots
+\end{align*}
+
+我们引入记号$\alpha = (\alpha_1, \dots, \alpha_n)$，其中每个$\alpha_i$都是非负整数，记
+\[\abs{\alpha} = \alpha_1 + \dots + \alpha_n, \alpha! = \alpha_1! \dots \alpha_n!\]
+如果$\bvec{x} = (x_1, \dots, x_n)$，那么记$x^\alpha = x_1^{\alpha_1} \dots x_n^{\alpha_n}$。
+
+对于多重指标$\alpha = (\alpha_1, \dots, \alpha_n)$，我们还引进记号
+\[D^\alpha f(\bvec{a}) = \frac{\partial^{\alpha_1 + \dots + \alpha_n}f}{\partial x_1^{\alpha_1} \dots \partial x_n^{\alpha_n}} (\bvec{a})\eqper\]
+
+于是我们可以叙述多元函数Taylor公式：
+\begin{theorem}[多元函数Taylor公式]\label{多元函数Taylor公式}
+    设$D \subset \ndreal$是一个凸区域，$f \in C^{m + 1}(D)$。$\bvec{a} = (a_1, \dots, a_n)$和$\bvec{a} + \bvec{h} = (a_1 + h_1, \dots, a_n + h_n)$是$D$中两点，则必存在$\theta \in (0, 1)$使得
+    \[f(\bvec{a} + \bvec{h}) = \sum_{k = 0}^m \sum_{\abs{\alpha} = k} \frac{D^\alpha f(\bvec{a})}{\alpha!}  h^\alpha + R_m\]
+    其中
+    \[R_m = \sum_{\abs{\alpha} = m + 1} \frac{D^\alpha f(\bvec{a} + \theta \bvec{h})}{\alpha!} h^\alpha\]
+    称为Lagrange余项。
+\end{theorem}
+
+这个定理中的和式的意思是，对每个$\alpha$，都求对$f$求$\alpha$次偏导的导函数在$\bvec{a}$处的值，并且对$x_i$求了$\alpha_i$次偏导就要在后面乘上$\dfrac{x_i^{\alpha_i}}{\alpha_i!}$。
+
+我们再引入一个高阶微分的记号。对$\bvec{h} = (h_1, h_2, \dots, h_3)$，我们定义
+\begin{align*}
+    & \qquad\left(h_1 \frac{\partial}{\partial x_1} + \dots + h_n \frac{\partial}{\partial x_n}\right)^k f(\bvec{a})\\
+    & = \sum_{\abs{\alpha} = k} \frac{k!}{\alpha!} \frac{\partial^{\alpha_1}}{\partial x_1^{\alpha_1}}\dots \frac{\partial^{\alpha_n}}{\partial x_n^{\alpha_n}}f(\bvec{a}) \bvec{h}^\alpha\\
+    & = \sum_{\abs{\alpha} = k} \frac{k!}{\alpha!}D^\alpha f(\bvec{a}) h^\alpha
+\end{align*}
+特别考虑二元函数的情况。如果设$x, y$的改变量为$h, k$，那么
+\begin{align*}
+    \left(h \frac{\partial}{\partial x} + k \frac{\partial}{\partial y}\right) f(x, y) & = \frac{\partial f(x, y)}{\partial x}h + \frac{\partial f(x, y)}{\partial y}k\\
+    \left(h \frac{\partial}{\partial x} + k \frac{\partial}{\partial y}\right)^2 f(x, y) & = \frac{\partial^2 f(x, y)}{\partial x^2}h^2 + 2 \frac{\partial^2 f(x, y)}{\partial x \partial y}hk + \frac{\partial^2 f(x, y)}{\partial y^2}k^2\\
+    \left(h \frac{\partial}{\partial x} + k \frac{\partial}{\partial y}\right)^m f(x, y) & = \sum_{i = 0}^m \binom{m}{i} \frac{\partial^m f(x, y)}{\partial x^ \partial y^{m - i}} h^i k^{m - i}, m = 1, \dots, n + 1
+\end{align*}
+
+在一般的应用中，特别重要的是Taylor公式的前三项。把他们具体写出来：
+\[f(\bvec{a} + \bvec{h}) = f(\bvec{a}) + \sum_{i = 1}^n \frac{\partial f}{\partial x_i}(\bvec{a})h_i + \frac{1}{2} \sum_{i, j = 1}^n \frac{\partial^2 f}{\partial x_i \partial x_j} (\bvec{a}) h_i h_j + \cdots\]
+如果记
+\[Hf(\bvec{a}) = \begin{bmatrix}
+    \dfrac{\partial^2 f}{\partial x_1^2}(\bvec{a}) & \cdots & \dfrac{\partial^2 f}{\partial x_1 \partial x_n}(\bvec{a})\\[1em]
+    \vdots & \ddots & \vdots\\[1ex]
+    \dfrac{\partial^2 f}{\partial x_n \partial x_1}(\bvec{a}) & \cdots & \dfrac{\partial^2 f}{\partial x_n^2}(\bvec{a})
+\end{bmatrix}\]
+进一步简记为
+\[Hf(\bvec{a}) = \begin{bmatrix}
+    D_{11} f(\bvec{x}) & \cdots & D_{1n} f(\bvec{x})\\
+    \vdots & \ddots & \vdots\\
+    D_{n1} f(\bvec{x}) & \cdots & D_{nn} f(\bvec{x})
+\end{bmatrix}\eqper\]
+这$Hf$称为$f$的Hessian，它是一个$n$阶对称方阵。
+
+那么前面的Taylor公式可以写成
+\[f(\bvec{a} + \bvec{h}) = f(\bvec{a}) + Jf(\bvec{a})\bvec{h} + \frac{1}{2} \bvec{h}^{\mathrm{T}} Hf(\bvec{a}) \bvec{h} + \cdots\]
+
+\begin{theorem}
+    在定理\ref{多元函数Taylor公式}的条件下，
+    \[R_m = O(\norm{\bvec{h}}^{m + 1})\eqper\]
+    于是我们可以把Taylor公式写成Peano余项的形式：
+    \[f(\bvec{a} + \bvec{h}) = f(\bvec{a}) + Jf(\bvec{a}) \bvec{h} + \frac{1}{2} \bvec{h}^{\mathrm{T}} Hf(\bvec{a}) \bvec{h} + o(\norm{\bvec{h}}^2)\]
+\end{theorem}
+
+\section{极值}
+\begin{definition}
+    设$D \subset \ndreal$，函数$f:D \to \realnum$，点$\bvec{p}_0 \in D\interior$，如果存在一个球$B_r(\bvec{p}_0) \subset D\interior$，使得$f(\bvec{p}) \geq f(\bvec{p}_0)$（$f(\bvec{p}) > f(\bvec{p}_0)$）对一切$\bvec{p} \in B_r(\hat{\bvec{p}}_0)$成立，那么$\bvec{p}_0$称为$f$的一个（严格）极小值点，而$f(\bvec{p}_0)$称为函数$f$的一个（严格）极小值。
+
+    同样地可以定义（严格）极大值点和（严格）极大值。极小值和极大值统称极值。
+\end{definition}
+
+类似于Fermat引理，我们可以得到极值点的必要条件
+\begin{theorem}
+    设$n$元函数$f$在$\bvec{p}_0$取得极值，且$Jf(\bvec{p}_0)$存在，那么必须有$Jf(\bvec{p}_0) = \bvec{0}$。
+
+    设$\bvec{u}$是任意方向向量，则$D_{\bvec{u}} f(\bvec{a}) = 0$。
+\end{theorem}
+
+\begin{definition}
+    $D$中使得$Jf(\bvec{p}) = \bvec{0}$的一切内点称为函数函数$f$的驻点。极值点一定是煮点，而驻点未必是极值点。
+\end{definition}
+
+\begin{definition}
+    设
+    \(A = \begin{bmatrix}
+        a_{ij}
+    \end{bmatrix}\)
+    是一个$n$阶对称方阵。设
+    \[\bvec{x} = \begin{bmatrix}
+        x_1\\ x_2\\ \vdots\\ x_n
+    \end{bmatrix}\]
+    称
+    \[Q(\bvec{x}) = \bvec{x}^\mathrm{T} A \bvec{x} = \sum_{i, j = 1}^n a_{ij}x_i x_j\]
+    为$x_1, x_2, \dots, x_n$的一个二次型，方阵$A$称为二次型$Q$的系数方阵。
+
+    如果对任意$\bvec{x} \neq \bvec{0}$都有$Q(\bvec{x}) \geq 0$（$\leq 0$），则称二次型$Q$是正（负）定的，其系数方阵$A$相应地称为正（负）定方阵。
+
+    如果对任意$\bvec{x} \neq \bvec{0}$都有$Q(\bvec{x}) > 0$（$< 0$），则称二次型$Q$是严格正（负）定的，其系数方阵$A$相应地称为严格正（负）定方阵。
+
+    如果总存在$\bvec{p}, \bvec{q} \in \ndreal$，使得$Q(\bvec{p}) < 0 < Q(\bvec{q})$，旧称二次型$Q$是不定的，其系数方阵$A$相应地称为不定方阵。
+\end{definition}
+
+\begin{theorem}
+    设
+    \(A = \begin{bmatrix}
+        a_{ij}
+    \end{bmatrix}\)
+    是一个$n$阶方阵。方阵$A$为严格正定的一个必要充分条件是它的各级顺序主子式均大于零。
+\end{theorem}
+
+欲证明一个方阵$A$负定，只需证明$-A$是正定的即可。
+
+\begin{theorem}
+    设二阶对称方阵
+    \[A = \begin{bmatrix}
+        a_{11} & a_{12}\\
+        a_{21} & a_{22}
+    \end{bmatrix}\]
+    $A$为严格正（负）定的一个必要充分条件是
+    \[a_{11} > 0(a_{11} < 0),\]
+    \[\begin{vmatrix}
+        a_{11} & a_{12}\\
+        a_{21} & a_{22}
+    \end{vmatrix} > 0\]
+
+    $A$为不定矩阵的一个充分必要条件是
+    \[\begin{vmatrix}
+        a_{11} & a_{12}\\
+        a_{21} & a_{22}
+    \end{vmatrix} < 0\eqper\]
+\end{theorem}
+
+\begin{theorem}
+    设$\bvec{x}_0$是函数$f$的一个驻点，函数$f$在$\bvec{x}_0$的某一临域内有连续的二阶偏导数。
+    \begin{enumerate}
+        \item 如果Hessian $Hf(\bvec{x}_0)$是严格正定（负）方阵，那么$\bvec{x}_0$是$f$的一个严格极小（大）值点。
+        \item 如果Hessian $Hf(\bvec{x}_0)$是不定方阵，那么$\bvec{x}_0$不是$f$的极值点。
+    \end{enumerate}
+\end{theorem}
+
+\section{条件极值}
+首先我们引入一个问题。设$f: D \to \realnum$，$\Phi: D \to \realnum^m$，$D \subset \realnum^{n + m}$是开集，$(\bvec{x}, \bvec{y}) \in \realnum^{n + m}$。求满足$\Phi(\bvec{x}, \bvec{y}) = \bvec{0}$的条件下$f(\bvec{x}, \bvec{y})$的最大/最小值，记为
+\[\begin{cases}
+    \max f(\bvec{x}, \bvec{y})\\
+    \Phi(\bvec{x}, \bvec{y}) = 0
+\end{cases}
+\text{或}
+\begin{cases}
+    \min f(\bvec{x}, \bvec{y})\\
+    \Phi(\bvec{x}, \bvec{y}) = 0
+\end{cases}\]
+其中$f(\bvec{x}, \bvec{y})$称为目标函数，$\Phi(\bvec{x}, \bvec{y}) = \bvec{0}$称为约束条件。
+
+设在约束$\varphi(\bvec{x}, y) = 0$下$f(\bvec{x}, y)$在$P = (\bvec{x}_0, y_0) \in D$点达到极值，且$\dfrac{\partial \varphi}{\partial y}(\bvec{x}_0, y_0) \neq 0$，应用隐函数定理：在$P$点附近，方程$\varphi(\bvec{x}, y) = \bvec{0}$确定了隐函数$y = y(\bvec{x})$。函数$F(\bvec{x}) = f(\bvec{x}, y(\bvec{x}))$在$\bvec{x}_0$达到极值，因此$J F(\bvec{x}_0) = \bvec{0}$。
+因此
+\[\frac{\partial F}{\partial x_i} (\bvec{x}_0) = \frac{\partial f}{\partial x_i}(\bvec{x}_0, y_0) + \frac{\partial f}{\partial y} \frac{\partial y}{\partial x_i}(\bvec{x}_0) = 0, i = 1, 2, \cdots, n\]
+而根据隐函数定理，
+\[\frac{\partial y}{\partial x_i}(\bvec{x}_0) = -\frac{\dfrac{\partial \varphi}{\partial x_i}(\bvec{x}_0, y_0)}{\dfrac{\partial \varphi}{\partial y}(\bvec{x}_0, y_0)}\]
+将它带入上式，
+\[\frac{\partial f}{\partial x_i}(\bvec{x}_0, y_0) - \frac{\dfrac{\partial f}{\partial y}{(\bvec{x}_0, y_0)} \dfrac{\partial \varphi}{\partial x_i}(\bvec{x}_0, y_0)}{\dfrac{\partial \varphi}{\partial y}(\bvec{x}_0, y_0)} = 0\]
+引入参数
+\[\lambda = -\frac{\dfrac{\partial f}{\partial y}(\bvec{x}_0, y_0)}{\dfrac{\partial \varphi}{\partial y}(\bvec{x}_0, y_0)}\]
+那么
+\[\frac{\partial f}{\partial x_i}(\bvec{x}_0, y_0) + \lambda \frac{\partial \varphi}{\partial x_i}(\bvec{x}_0, y_0) = 0, i = 1, 2, \cdots, n\]
+因此我们得到
+\[Jf(\bvec{x}_0, y_0) + \lambda J\varphi(\bvec{x}_0, y_0) = \bvec{0}\]
+是条件极值的一个必要条件。
+
+\begin{theorem}[条件极值的必要条件]
+    设$f \in C^1(D)$，$\Phi \in C^1 (D, \realnum^m)$，$D \subset \realnum^{n + m}$是开集。记$P = (\bvec{x}_0, \bvec{y}_0) \in D$，又设$\det(J_{\bvec{y}}\Phi(\bvec{x}_0, \bvec{y}_0)) \neq 0$。如果$f(\bvec{x}, \bvec{y})$在约束$\Phi(\bvec{x}, \bvec{y}) = \bvec{0}$下在$P$点达到极值，则存在$\bvec{\Lambda} = (\lambda_1, \dots, \lambda_m)$使得
+    \[Jf(\bvec{x}_0, \bvec{y}_0) + \bvec{\Lambda} J \Phi(\bvec{x}_0, \bvec{y}_0) = \bvec{0}\eqper\]
+    这也就是说$(\bvec{x}_0, \bvec{y}_0)$满足方程组
+    \begin{align*}
+        & \frac{\partial f}{\partial x_k}(\bvec{x}_0, \bvec{y}_0) + \sum_{i = 1}^m \lambda_i \frac{\partial \Phi_i}{\partial x_k}(\bvec{x}_0, \bvec{y}_0) = 0, k = 1, \cdots, n\\
+        & \frac{\partial f}{\partial y_j}(\bvec{x}_0, \bvec{y}_0) + \sum_{i = 1}^m \lambda_i \frac{\partial \Phi_i}{\partial y_j}(\bvec{x}_0, \bvec{y}_0) = 0, j = 1, \cdots, m\\
+    \end{align*}
+\end{theorem}
+
+根据这个定理，我们可以引入Lagrange乘数法。定义函数$L: D \times \realnum^m \to \realnum$，
+\[L(\bvec{z}, \bvec{\Lambda}) = f(\bvec{z}) + \bvec{\lambda} \Phi(\bvec{z}), (\bvec{z}, \bvec{\Lambda}) \in D \times \realnum^m\]
+$L$称为条件极值问题的Lagrange函数，$\bvec{\Lambda}$称为Lagrange乘数/乘子。根据条件极值的表要条件，在条件极值点$\bvec{z}_0 \in D$，存在$\bvec{\Lambda} \in \realnum^m$满足
+\[J_{\bvec{z}} L (\bvec{z}_0, \bvec{\Lambda}) = J_{\bvec{z}} f(\bvec{z}_0) + \bvec{\Lambda} J_{\bvec{z}}\Phi(\bvec{z}_0) = \bvec{0}\]
+此外
+\[J_{\bvec{\Lambda}} L(\bvec{z}_0, \bvec{\Lambda}) = \Phi(\bvec{z}_0) = \bvec{0}\]
+因此
+\[JL(\bvec{z}, \bvec{\Lambda}) = (J_{\bvec{z}}, J_{\bvec{\Lambda}}) = \bvec{0} \eqper\]