feat(hw3): Non program part of the homework

hw3/report/main.tex

@@ -152,10 +152,20 @@
 \end{array} \right]$，$p(\omega_1)=p(\omega_2)$。试计算分类界面，并对特征向量$x=[6,2]^T$分类。}
 
 \begin{proof}[解]
-    \[g_1(\boldsymbol{x}) = -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu}_1)^\mathrm{T} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}_1) + \ln p(\omega_1)\]
-    \[g_2(\boldsymbol{x}) = -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu}_2)^\mathrm{T} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}_2) + \ln p(\omega_2)\]
+    \[\Sigma^{-1} = \begin{bmatrix}
+        1 & -1.5\\
+        -1.5 & 3
+    \end{bmatrix}\]
     决策方程
-    \[\]
+    \[g_{LDF1} = \Sigma^{-1} \mu_1 \boldsymbol{x} + -\frac{1}{2} \mu_1^T \Sigma^{-1} \mu_1 = (3.5, -1) \boldsymbol{x} - 6.5\]
+    类似地可以得到
+    \[g_{LDF2} = (-0.5, 1.5) \boldsymbol{x} - 0.5\]
+    因此分类界面为
+    \begin{align*}
+        (3.5, -1) \boldsymbol{x} - 6.5 & = (-0.5, 1.5) \boldsymbol{x} - 0.5\\
+        (4, -2.5) \boldsymbol{x} & = 6
+    \end{align*}
+    对于$(6, 2)$，计算$g_{LDF1}((6, 2)) = 12.5$，$g_{LDF2}((6, 2)) = -0.5$，因此属于第一类。
 \end{proof}
 
 \vspace{3mm}
@@ -171,6 +181,36 @@
 \qquad(2) 在映射后的样本集中，设计一个线性SVM分类器，给出支持向量及分类界面。
 }
 
+\begin{proof}[解]
+    映射后的样本集
+    \[D_{\phi} = \left\lbrace\left((-1, 1)^T, -1\right), \left((-1, -1)^T, 1\right), \left((1, -1)^T, 1\right), \left((1, 1)^T, -1\right)\right\rbrace\]
+
+    待优化的问题为
+    \[L(\boldsymbol{\alpha}) = \sum_{i = 1}^4 \alpha_i - \frac{1}{2} \sum_{i = 1}^4 \sum_{j = 1}^4 \alpha_i \alpha_j y_i y_j \boldsymbol{x}_i^T \boldsymbol{x}_j\]
+    因此
+    \begin{align*}
+        \frac{\partial L}{\partial \alpha_1} & = 1 - \frac{1}{2}\sum_{i \neq 1}^4 \alpha_i y_1 y_i \boldsymbol{x}_1^T \boldsymbol{x}_i - 2 \alpha_1 y_1 y_1 \boldsymbol{x}_1^T \boldsymbol{x}_1\\
+        & = 1 - 2 \alpha_3 - 4 \alpha_1\\
+        \frac{\partial L}{\partial \alpha_2} & = 1 - 2\alpha_4 - 4 \alpha_2\\
+        \frac{\partial L}{\partial \alpha_3} & = 1 - 2 \alpha_1 - 4 \alpha_3\\
+        \frac{\partial L}{\partial \alpha_4} & = 1 - 2 \alpha_3 - 4 \alpha_4
+    \end{align*}
+    令四个偏导数均为0，得到$\alpha_1 = \alpha_2 = \alpha_3 = \alpha_4 = \frac{1}{6}$。全部的点均为支持向量。因此
+    \[\boldsymbol{w} = \sum_{i = 1}^4 \alpha_i y_i \boldsymbol{x}_i = \left(0, -\frac{2}{3}\right)\]
+
+    为求偏置量，带入$\boldsymbol{x}_1$：
+    \[(-1) (\boldsymbol{w}^T \boldsymbol{x}_1 + b) = 1\]
+    得到$b = -\frac{1}{3}$。
+
+    分类界面$\boldsymbol{w}^T \boldsymbol{x} + b = 0$，即
+    \[\begin{bmatrix}
+        0\\-\frac{2}{3}
+    \end{bmatrix} \boldsymbol{x} - \frac{1}{3} = 0\]
+    得到$x_2 = \frac{1}{2}$，因此在原空间中，
+    \[4(x_1 - 0.5)(x_2 - 0.5) = 0.5\]
+
+\end{proof}
+
 
 
 \vspace{3mm}
@@ -179,6 +219,12 @@
 \qquad (2)起始聚类中心选择(1,4)和(3,1)，计算聚类中心。\\
 }
 
+\begin{proof}[解]
+    中心选择$(0, 0), (4, 3)$，第一次分为$(0, 2), (2,0)$与$(2, 3), (3, 2), (4, 0), (5, 4)$，更新后的中心为$(1, 1)$与$\left(\frac{7}{2}, \frac{9}{4}\right)$。收敛。
+
+    中心选择$(1, 4)$与$(3, 1)$，第一次分为$(0, 2), (2, 3)$与$(2, 0), (4, 0), (3, 2), (5, 4)$，更新后中心为$(1, \frac{5}{2})$与$(\frac{7}{2}, \frac{3}{2})$，收敛。
+\end{proof}
+
 \vspace{3mm}
 \centerline{\textbf{\Large{编程部分}}}