202 lines
6.0 KiB
TeX
202 lines
6.0 KiB
TeX
% Homework Template
|
||
\documentclass[a4paper]{article}
|
||
\usepackage{ctex}
|
||
\usepackage{amsmath, amssymb, amsthm}
|
||
\usepackage{moreenum}
|
||
\usepackage{mathtools}
|
||
\usepackage{url}
|
||
\usepackage{bm}
|
||
\usepackage{enumitem}
|
||
\usepackage{graphicx}
|
||
\usepackage{subcaption}
|
||
\usepackage{booktabs} % toprule
|
||
\usepackage[mathcal]{eucal}
|
||
\usepackage[thehwcnt = 3]{iidef}
|
||
|
||
\thecourseinstitute{清华大学电子工程系}
|
||
\thecoursename{\textbf{媒体与认知}}
|
||
\theterm{2023-2024学年春季学期}
|
||
\hwname{作业}
|
||
\begin{document}
|
||
\courseheader
|
||
% 请在YOUR NAME处填写自己的姓名
|
||
\name{高艺轩}
|
||
\vspace{3mm}
|
||
\centerline{\textbf{\Large{理论部分}}}
|
||
|
||
\section{单选题（15分）}
|
||
% 请在？处填写答案
|
||
\subsection{\underline{D}}
|
||
|
||
\subsection{\underline{C}}
|
||
|
||
\subsection{\underline{D}}
|
||
|
||
\subsection{\underline{D}}
|
||
|
||
\subsection{\underline{B}}
|
||
|
||
\section{计算题（15 分）}
|
||
|
||
|
||
\subsection{给定两个类别的样本分别为:
|
||
\begin{align*}
|
||
&\omega_1:\{(3,1),(2,2),(4,3),(3,2)\} \\
|
||
&\omega_2:\{(1,3),(1,2),(-1,1),(-1,2)\}
|
||
\end{align*}
|
||
试利用LDA，将样本特征维数压缩为一维。
|
||
}
|
||
|
||
\begin{proof}[解]
|
||
首先计算$\mu_1 = (3, 2), \mu_2 = (0, 2), \mu = (1.5, 2)$。因此
|
||
\[S_1 = \frac{1}{4}
|
||
\left(
|
||
\begin{bmatrix}
|
||
0 & 0\\
|
||
0 & 1
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
1 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
1 & 1\\
|
||
1 & 1
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
0 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
\right)
|
||
=
|
||
\begin{bmatrix}
|
||
0.5 & 0.25\\
|
||
0.25 & 0.5
|
||
\end{bmatrix}\]
|
||
\[S_2 = \frac{1}{4}
|
||
\left(
|
||
\begin{bmatrix}
|
||
0 & 0\\
|
||
0 & 1
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
1 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
1 & 1\\
|
||
1 & 1
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
1 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
\right)
|
||
=
|
||
\begin{bmatrix}
|
||
0.75 & 0.25\\
|
||
0.25 & 0.5
|
||
\end{bmatrix}\]
|
||
进一步地，
|
||
\[S_w = \frac{1}{2} (S_1 + S_2) =
|
||
\begin{bmatrix}
|
||
0.625 & 0.25\\
|
||
0.25 & 0.5
|
||
\end{bmatrix}\]
|
||
\[S_b = \frac{1}{2} \left(
|
||
\begin{bmatrix}
|
||
2.25 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
+
|
||
\begin{bmatrix}
|
||
2.25 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}
|
||
\right)
|
||
=
|
||
\begin{bmatrix}
|
||
2.25 & 0\\
|
||
0 & 0
|
||
\end{bmatrix}\]
|
||
广义特征值分解得到$\lambda = 4.5$，$v = (0.8944, -0.4472)$。投影后的样本为
|
||
\[\omega_1: \left\{2.2360, 0.8944, 2.2360, 1.7888\right\}\]
|
||
\[\omega_2: \left\{-0.4472, 0, -1.3416, -1.7888\right\}\]
|
||
\end{proof}
|
||
|
||
|
||
|
||
\vspace{3mm}
|
||
\subsection{模型训练通常需要大量的数据，假设某采集的数据集包含80\%的有效数据和20\%的无效数据。采用一种算法判断数据是否有效，其中无效数据被成功判别为无效数据的概率为90\%，而有效数据被误判为无效数据的概率为5\%。如果某条数据经过该算法被判别为无效数据，则根据贝叶斯定理，这条数据是无效数据的概率是多少？(提示：全概率公式$P(Y)=\sum^{N}_{i=1}P(Y|X_i)P(X_i)$)\\}
|
||
|
||
\begin{proof}[解]
|
||
\begin{align*}
|
||
& P(\text{无效数据} \mid \text{判定无效})\\
|
||
= & \frac{p(\text{判定无效} \mid \text{无效数据})p(\text{无效数据})}{p(\text{判定无效} \mid \text{无效数据})p(\text{无效数据}) + p(\text{判定无效} \mid \text{有效数据})p(\text{有效数据})}\\
|
||
= & \frac{0.9 \times 0.2}{0.9 \times 0.2 + 0.05 \times 0.8}\\
|
||
= & \frac{0.18}{0.18 + 0.04}\\
|
||
= & \frac{9}{11}
|
||
\end{align*}
|
||
\end{proof}
|
||
|
||
\vspace{3mm}
|
||
\subsection{设有两类正态分布的样本集，第一类均值为$\mu_1=[2,-1]^T$，第二类均值为$\mu_2=[1,1]^T$。两类样本集的协方差矩阵和出现的先验概率都相等：$\Sigma_1=\Sigma_2=\Sigma=\left[ \begin{array}{cc}
|
||
4 & 2 \\
|
||
2 & \frac{4}{3}
|
||
\end{array} \right]$，$p(\omega_1)=p(\omega_2)$。试计算分类界面，并对特征向量$x=[6,2]^T$分类。}
|
||
|
||
\begin{proof}[解]
|
||
\[g_1(\boldsymbol{x}) = -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu}_1)^\mathrm{T} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}_1) + \ln p(\omega_1)\]
|
||
\[g_2(\boldsymbol{x}) = -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu}_2)^\mathrm{T} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}_2) + \ln p(\omega_2)\]
|
||
决策方程
|
||
\[\]
|
||
\end{proof}
|
||
|
||
\vspace{3mm}
|
||
\subsection{给定异或的样本集$D=\left\{\left((0,0)^T,-1\right),\left((0,1)^T,1\right),\left((1,0)^T,1\right),\left((1,1)^T,-1\right)\right\}$该样本集是线性不可分的，可采用如下所示的多项式函数$\phi(\mathbf{x})$将样本$D=\left\{(\mathbf{x}_n,y_n)\right\}$映射为$D_\phi=\left\{(\phi(\mathbf{x}_n),y_n)\right\}$，其中$\phi(\mathbf{x})$满足
|
||
\begin{equation*}
|
||
\begin{aligned}
|
||
\phi_1(\mathbf{x})&=2(x_1-0.5) \\
|
||
\phi_2(\mathbf{x})&=4(x_1-0.5)(x_2-0.5)
|
||
\end{aligned}
|
||
\end{equation*}
|
||
\\
|
||
\qquad(1) 给出映射后的样本集；\\
|
||
\qquad(2) 在映射后的样本集中，设计一个线性SVM分类器，给出支持向量及分类界面。
|
||
}
|
||
|
||
|
||
|
||
\vspace{3mm}
|
||
\subsection{使用KMeans算法对2维空间中的6个点$(0,2)$,$(2,0)$,$(2,3)$,$(3,2)$,$(4,0)$,$(5,4)$进行聚类，距离函数选择欧氏距离$d=\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$。\\
|
||
\qquad (1)起始聚类中心选择(0,0)和(4,3)，计算聚类中心；\\
|
||
\qquad (2)起始聚类中心选择(1,4)和(3,1)，计算聚类中心。\\
|
||
}
|
||
|
||
\vspace{3mm}
|
||
\centerline{\textbf{\Large{编程部分}}}
|
||
|
||
|
||
\vspace{3mm}
|
||
% 请根据是否选择自选课题的情况选择“编程作业报告”或“自选课题进度汇报”中的一项完成
|
||
\section{编程作业报告}
|
||
% 请在此处完成编程作业报告
|
||
|
||
\section{自选课题进度汇报}
|
||
% 请在此处介绍自选课题
|
||
|
||
\end{document}
|
||
|
||
|
||
|
||
%%% Local Variables:
|
||
%%% mode: late\rvx
|
||
%%% TeX-master: t
|
||
%%% End:
|