Update ML before exam

速通机器学习-作业合集.md

@@ -5,8 +5,6 @@
 > **计算整体的信息熵H（D）：**  
 > $H(D) = - \sum_{i=1}^{k} p_i \log_2(p_i)$
 >  - $ p_i $：数据集中属于第 $ i $ 类的样本比例。：
-     
-     
 
 > **计算属性划分后的条件熵（H(D|A)）：**。  
 > $(D|A) = \sum_{v \in V} p(v) H(D_v)$
@@ -18,6 +16,30 @@
 > $Gain(A) = H(D) - H(D|A)$
 >    - 如果某个属性的增益最大，就选择它作为根节点。
 
+---
+> 朴素贝叶斯模型的核心思想是**用概率来做分类**，分为以下几步：
+> 1. 算每种类别的比例（先验概率）。
+> 2. 算特征在每种类别下的比例（类条件概率）。
+> 3. 用贝叶斯公式，算新样本属于每个类别的可能性（后验概率）。
+> 4. 比较可能性，选一个最可能的类别。
+
+> **计算每个类别出现的概率**  
+> * 公式：
+> $P(\text{好瓜}) = \frac{\text{好瓜的样本数}}{\text{总样本数}}$
+> $P(\text{坏瓜}) = \frac{\text{坏瓜的样本数}}{\text{总样本数}}$
+
+> **计算类条件概率：**  
+> 计算每个特征在每种类别下的概率，比如“敲声=浊响”的情况下是“好瓜”的概率、“色泽=青绿”的情况下是“好瓜”的概率。
+> * 公式：$P(\text{特征值} | \text{类别}) = \frac{\text{类别中符合该特征值的样本数 + 1}}{\text{该类别样本总数 + 特征取值数}}$  
+     （这里使用了**平滑处理**，防止某些特征值概率为 0。）
+
+>  **计算后验概率：**
+> 根据贝叶斯公式，结合先验概率和类条件概率，计算新样本属于每个类别的概率。
+>   * 公式：$P(\text{类别} | \text{特征}) \propto P(\text{类别}) \times P(\text{特征1} | \text{类别}) \times P(\text{特征2} | \text{类别}) \times \cdots$
+
+> **分类预测：**
+> 比较每个类别的后验概率，把新样本分到概率最大的那个类别。
+
 ---
 > **如何求解特征值和特征向量**：  
 > 	特征值：求解该矩阵被$\lambda$倍单位矩阵减去后的行列式  
@@ -56,7 +78,7 @@
 	预测：y^=Xβ^  
 	> 线性回归：误差的平方和
 1. **二元逻辑回归的数学表示形式**：  
-	> 单一的感知神经元  
+	> 单一的感知神经元，附带激活函数$e^{-x}$  
 
 	线性回归：$z=w_0+w_1x_1+w_2x_2+⋯+w_nx_n=w^T_x$    
 	激活函数：$y^=σ(z)=\frac{1}{1+e^{−z}}=\frac{1}{e^-{(w_0+w_1x_1+⋯+w_nx_n)}}$  
@@ -161,11 +183,11 @@ K 折交叉验证（K-Fold Cross-Validation） K 折交叉验证是最常用的
 ## 计算题
 1.  已知模型A在某二分类数据集上的分类结果的混淆矩阵如下：
 	| 真实情况 | 预测正例 | 预测反例 |
-	|----------|----------|----------|
+	| ----| ----| ----|
 	| 正例     | 50       | 20       |
 	| 反例     | 5        | 10       |  
 请计算：（1）准确率；（2）查全率和查准率。 
-> 查全率：预测正例中被预测正确的比例 
+> 查全率：预测正例中被预测正确的比例  
 > 查准率：实际正例中真的对的比例  
 * 从这个混淆矩阵中，我们可以得出以下指标：
 
@@ -226,7 +248,7 @@ C4.5：增益率在信息增益的基础上引入了特征的固有信息量，
 1.  已知一组数据如下表：
 
 | 编号 | 敲声 | 色泽 | 好瓜 |
-|------|------|-----|-----|
+| | |-----|-----|
 |1	|浊响   |青绿   |是
 |2	|沉闷	|乌黑	|是
 |3	|浊响	|乌黑	|是
@@ -348,8 +370,8 @@ D. 一种基于“概率”的模型
 1. 生成三种类型的二分类数据集：硬间隔线性可分（数据1）、硬间隔线性不可分软间隔线性可分（数据2）、软间隔线性可分数据集（数据3）。
 1. 在上述三种数据集上分别测试线性支持向量机（最简单的支持向量机）、引入松弛变量的支持向量机和引入核函数的支持向量机，并输出模型准确率和决策边界。
 1. 在数据2上分析惩罚参数C对引入松弛变量的支持向量机性能的影响。
-1. 在数据3上分析不同核函数对引入核方法的支持向量机性能及决策边界的影响。
-以上作答详见随件的.ipynb
+1. 在数据3上分析不同核函数对引入核方法的支持向量机性能及决策边界的影响。  
+**以上作答详见随件的.ipynb**
 
 # H4：C7，C8
 ## 基本概念
@@ -374,10 +396,10 @@ C. 序列化集成
 D. 并行化集成  
 
 1. 根据集成模型中基学习器的生成方式可将集成学习分为：（C D）  
-A. 同质集成  
+A. 同质集成(基学习器模型相同)  
 B. 异质集成  
-C. 序列化集成  
-D. 并行化集成  
+C. 序列化集成（串行）  
+D. 并行化集成（并行）
 
 1. 下列选项属于集成学习中基学习器结合的“好处”的是：（A B C）  
 A. 统计上降低单个基学习器“误选”的影响    
@@ -424,62 +446,60 @@ H. 判别模型
 ## 计算题
 1. 给定如下表所示的二分类训练集（类属性集合｛是，否｝，敲声属性集合｛浊响，沉闷，清脆｝，色泽属性集合｛青绿，乌黑，浅白｝），请在该训练集上学习朴素贝叶斯模型，并用于新实例的分类：
 
-|编号 | 敲声 | 色泽 | 好瓜 |
-|-|-|-|-|
-|1	| 浊响 | 青绿 | 是
-|2	| 沉闷 | 乌黑 | 是
-|3	| 浊响 | 乌黑 | 是
-|4	| 浊响 | 青绿 | 否
-|5	| 清脆 | 浅白 | 否
-|6	| 浊响 | 青绿 | 否
-|7	| 清脆 | 青绿 | 否
-|8	| 清脆 | 浅白 | 否
-|9	| 浊响 | 浅白 | 否
-|10 | 浊响 | 青绿 | 否
-
-请计算：  
-以下是根据给定数据集，学习朴素贝叶斯模型的详细步骤，涵盖计算先验概率、类条件概率和新实例的分类预测。
-
-1. 类属性平滑处理后的先验概率
-	给定数据集包含两个类别："是" 和 "否"。对每个类别进行**拉普拉斯平滑**处理，以避免某些概率为零的情况。
-	计算类属性的先验概率（平滑处理）
-
-	| 类别 | 样本数 | 加1平滑后的样本数 | 平滑后先验概率 |
-	|------|--------|-------------------|----------------|
-	| 是   | 3 | $ 3 + 1 = 4 $ | $ P(\text{是}) = \frac{4}{10 + 2} = \frac{4}{12} = 0.333 $ |
-	| 否   | 7 | $ 7 + 1 = 8 $ | $ P(\text{否}) = \frac{8}{12} = 0.667 $                 |
-
-2. 各个属性取值平滑处理后的类条件概率
-	在朴素贝叶斯模型中，假设各个属性独立，我们对每个属性值进行平滑处理。以下是详细的计算：
-	* 属性"敲声"的类条件概率
-
-	| 敲声  | 类别"是"样本数（原始） | 类别"是"平滑处理后 | 类别"否"样本数（原始） | 类别"否"平滑处理后 | 类条件概率 |
-	|-------|-----------------------|--------------------|-----------------------|--------------------|------------|
-	| 浊响 | 2 | $ \frac{2 + 1}{3 + 3} = \frac{3}{6} = 0.5 $ | 4 | $ \frac{4 + 1}{7 + 3} = \frac{5}{10} = 0.5 $ |
-	| 沉闷 | 1 | $ \frac{1 + 1}{3 + 3} = \frac{2}{6} = 0.333 $ | 0 | $ \frac{0 + 1}{7 + 3} = \frac{1}{10} = 0.1 $ |
-	| 清脆 | 0 | $ \frac{0 + 1}{3 + 3} = \frac{1}{6} = 0.167 $ | 3 | $ \frac{3 + 1}{7 + 3} = \frac{4}{10} = 0.4 $ |
-
-	* 属性"色泽"的类条件概率
-
-	| 色泽  | 类别"是"样本数（原始） | 类别"是"平滑处理后 | 类别"否"样本数（原始） | 类别"否"平滑处理后 | 类条件概率 |
-	|-------|-----------------------|--------------------|-----------------------|--------------------|------------|
-	| 青绿  | 2 | $ \frac{2 + 1}{3 + 3} = \frac{3}{6} = 0.5 $ | 2 | $ \frac{2 + 1}{7 + 3} = \frac{3}{10} = 0.3 $ |
-	| 乌黑  | 1 | $ \frac{1 + 1}{3 + 3} = \frac{2}{6} = 0.333 $ | 1 | $ \frac{1 + 1}{7 + 3} = \frac{2}{10} = 0.2 $ |
-	| 浅白  | 0 | $ \frac{0 + 1}{3 + 3} = \frac{1}{6} = 0.167 $ | 4 | $ \frac{4 + 1}{7 + 3} = \frac{5}{10} = 0.5 $ |
-
-1. 预测新实例（清脆，乌黑）是否为好瓜
-	根据朴素贝叶斯分类规则，计算新实例属于"是"和"否"的概率，取概率大的作为预测类别。
-	* 类别"是"的后验概率  
-	$P(\text{是}|清脆, 乌黑) \propto P(\text{是}) \times P(\text{清脆}|\text{是}) \times P(\text{乌黑}|\text{是})= 0.333 \times 0.167 \times 0.333 = 0.0185$
-	* 类别"否"的后验概率   
-	$P(\text{否}|清脆, 乌黑) \propto P(\text{否}) \times P(\text{清脆}|\text{否}) \times P(\text{乌黑}|\text{否}) = 0.667 \times 0.4 \times 0.2 = 0.0534$
-1. 比较结果
-	由于 $ P(\text{否}|清脆, 乌黑) > P(\text{是}|清脆, 乌黑) $，因此朴素贝叶斯模型预测新实例（清脆，乌黑）为 **否**。
-
-
-	2．给出图1所示贝叶斯网结构的联合概率分布P(x1, x2, x3, x4, x5, x6)的计算公式。
-	图1 一种贝叶斯网结构
-	P(X1,X2,X3,X4,X5,X6)=P(X1)⋅P(X2)⋅P(X3∣X1)⋅P(X4∣X1)⋅P(X5∣X2)⋅P(X6∣X2,X5)
+	|编号 | 敲声 | 色泽 | 好瓜 |
+	|-|-|-|-|
+	|1	| 浊响 | 青绿 | 是
+	|2	| 沉闷 | 乌黑 | 是
+	|3	| 浊响 | 乌黑 | 是
+	|4	| 浊响 | 青绿 | 否
+	|5	| 清脆 | 浅白 | 否
+	|6	| 浊响 | 青绿 | 否
+	|7	| 清脆 | 青绿 | 否
+	|8	| 清脆 | 浅白 | 否
+	|9	| 浊响 | 浅白 | 否
+	|10 | 浊响 | 青绿 | 否
+
+	请计算：  
+	1. 类属性平滑处理后的先验概率
+		给定数据集包含两个类别："是" 和 "否"。对每个类别进行**拉普拉斯平滑**处理，以避免某些概率为零的情况。
+		计算类属性的先验概率（平滑处理）
+
+		| 类别 | 样本数 | 加1平滑后的样本数 | 平滑后先验概率 |
+		|-|-|-|-|
+		| 是   | 3 | $ 3 + 1 = 4 $ | $ P(\text{是}) = \frac{4}{10 + 2} = \frac{4}{12} = 0.333 $ |
+		| 否   | 7 | $ 7 + 1 = 8 $ | $ P(\text{否}) = \frac{8}{12} = 0.667 $                 |
+
+	2. 各个属性取值平滑处理后的类条件概率
+		在朴素贝叶斯模型中，假设各个属性独立，我们对每个属性值进行平滑处理。以下是详细的计算：
+		* 属性"敲声"的类条件概率
+
+			| 敲声  | 类别"是"样本数（原始） | 类别"是"平滑处理后 | 类别"否"样本数（原始） | 类别"否"平滑处理后 | 类条件概率 |
+			|-|-|-|-|-|-|
+			| 浊响 | 2 | $ \frac{2 + 1}{3 + 3} = \frac{3}{6} = 0.5 $ | 4 | $ \frac{4 + 1}{7 + 3} = \frac{5}{10} = 0.5 $ |
+			| 沉闷 | 1 | $ \frac{1 + 1}{3 + 3} = \frac{2}{6} = 0.333 $ | 0 | $ \frac{0 + 1}{7 + 3} = \frac{1}{10} = 0.1 $ |
+			| 清脆 | 0 | $ \frac{0 + 1}{3 + 3} = \frac{1}{6} = 0.167 $ | 3 | $ \frac{3 + 1}{7 + 3} = \frac{4}{10} = 0.4 $ |
+
+		* 属性"色泽"的类条件概率
+
+			| 色泽  | 类别"是"样本数（原始） | 类别"是"平滑处理后 | 类别"否"样本数（原始） | 类别"否"平滑处理后 | 类条件概率 |
+			|-|-|-|-|-|-|
+			| 青绿  | 2 | $ \frac{2 + 1}{3 + 3} = \frac{3}{6} = 0.5 $ | 2 | $ \frac{2 + 1}{7 + 3} = \frac{3}{10} = 0.3 $ |
+			| 乌黑  | 1 | $ \frac{1 + 1}{3 + 3} = \frac{2}{6} = 0.333 $ | 1 | $ \frac{1 + 1}{7 + 3} = \frac{2}{10} = 0.2 $ |
+			| 浅白  | 0 | $ \frac{0 + 1}{3 + 3} = \frac{1}{6} = 0.167 $ | 4 | $ \frac{4 + 1}{7 + 3} = \frac{5}{10} = 0.5 $ |
+
+		1. 预测新实例（清脆，乌黑）是否为好瓜
+			根据朴素贝叶斯分类规则，计算新实例属于"是"和"否"的概率，取概率大的作为预测类别。
+			* 类别"是"的后验概率  
+			$P(\text{是}|清脆, 乌黑) \propto P(\text{是}) \times P(\text{清脆}|\text{是}) \times P(\text{乌黑}|\text{是})= 0.333 \times 0.167 \times 0.333 = 0.0185$
+			* 类别"否"的后验概率   
+			$P(\text{否}|清脆, 乌黑) \propto P(\text{否}) \times P(\text{清脆}|\text{否}) \times P(\text{乌黑}|\text{否}) = 0.667 \times 0.4 \times 0.2 = 0.0534$
+		1. 比较结果
+			由于 $ P(\text{否}|清脆, 乌黑) > P(\text{是}|清脆, 乌黑) $，因此朴素贝叶斯模型预测新实例（清脆，乌黑）为 **否**。
+
+
+2．给出图1所示贝叶斯网结构的联合概率分布P(x1, x2, x3, x4, x5, x6)的计算公式。
+图1 一种贝叶斯网结构
+P(X1,X2,X3,X4,X5,X6)=P(X1)⋅P(X2)⋅P(X3∣X1)⋅P(X4∣X1)⋅P(X5∣X2)⋅P(X6∣X2,X5)
 
 # H5
 请务必认真完成各次作业，考前确保熟练掌握相关内容。
@@ -674,8 +694,8 @@ D. 有助于提升机器学习算法的学习能力
 1. 某班上有三名同学：张三、李四和小明，他们的身高（单位：m）和体重（单位：g）如下表所示。请基于身高和体重两个属性分别以欧式距离和马氏距离判定他们之间体型的相似度。
 	| 张三 | 李四 | 小明 |
 	|-|-|-|
-	|m | 1.6 | 1.6 | 1.72 |
-	|g | 60000 | 60300 | 60000| 
+	| 1.6 | 1.6 | 1.72 |
+	| 60000 | 60300 | 60000| 
 
 	---
 	1. **欧式距离**