ch 07 支持向量机

零散知识点

• SVM 本质上是线性的，但是可以通过核函数把非线性数据弄成线性的、高维的数据。
• Kernel function (干嘛的？) —— 把数据在高维弄成线性的，输入两个低维向量，输出内积（即他们的关系）
  • As long as the kernel matrix corresponding to a symmetric function is semi-positive definite, it can be used as a kernel function.

距离判别

1. 两组判别

1.1 一般的两组距离判别

• 每一组有自己的均值向量 和协方差矩阵 。

• 判别准则是比较两组的 马氏距离（Mahalanobis Distance）：

  判别样本 属于哪一类，取决于：

1.2 协方差矩阵相等的情况

• 假设 ，此时判别准则可以简化为：

• 展开计算后，最终得到一个 线性判别函数： 其中，权重向量 w 和偏置 定义为：

  判别规则为：$ \text{若 } g(x) > 0, \text{ 则 } x \text{ 属于组 1；否则属于组 2。}$

k-Nearest Neighbor Learning

1. 原理

定义：kNN 是一种简单且常用的监督学习算法。

机制：

• 对于一个测试样本，找到其在训练集中最近的 k 个邻居。
• 使用某种距离度量（如欧几里得距离）来判断哪些邻居是最近的。
• 基于这 k 个邻居的类别或特征来预测测试样本的结果。

2. 距离度量:

• 欧几里得距离（Euclidean Distance）：

  • 公式：
  • 定义：这是最常用的直线距离度量，表示两点之间的实际空间距离。
  • 场景：在 2D 和 3D 空间中最为直观，适用于计算点之间的直接距离。

• 曼哈顿距离（Manhattan Distance）：

  • 公式：
  • 定义：图中展示的红色和蓝色路径是曼哈顿距离（Manhattan Distance），也被称为城市街区距离（City Block Distance）。这类距离度量方法是计算从一个点到另一个点在直角网格上的水平和垂直移动距离之和。。
  • 别名：又称为城市街区距离（City Block Distance）。
  • 场景：适用于网格或正交路径的场景，比如城市道路导航。

• 切比雪夫距离 (Chebyshev Distance)：

  • 公式：最大坐标差值：
  • 解释：类似棋盘上国王移动的最少步数。

• 闵可夫斯基距离 (Minkowski Distance)：

  • 公式：

  • 特殊情况：

    • ：曼哈顿距离。
    • ：欧氏距离。
    • ：切比雪夫距离。

多元正态分布的定义

性质

极大似然估计值

1. 估计量的性质

无偏性：如果估计量的期望值等于被估参数，即为无偏估计量。公式举例：

• 均值 是均值 的无偏估计量。
• 协方差矩阵 的估计量 也是无偏的。

有效性：在所有无偏估计量中，方差最小的估计量称为有效估计量，具有统计效率最高。

一致性：随着样本容量增加，估计量逐渐趋近于真实值。

Clustering Problem

• 它是 “无监督学习 ”任务中研究最多、应用最广泛的一种方法。
• 聚类目标：将数据集中的样本分成几个通常互不相交的子集（簇）。
• 聚类可以作为一个单独的过程（发现数据的内在分布结构），也可以作为分类等其他学习任务的前奏。

应用场景：

1. 用户画像：根据行为或特征对用户进行分组，以提供个性化服务。
2. 新闻聚类：将相似的新闻归为一类，便于内容管理或推荐。
3. 基因分析：根据基因数据寻找潜在模式或结构，推动生物医学研究。

Ensemble Learning

图片1

• 标题: 单个分类器与集成分类器的简单分析
• 内容:
  • 假设这是一个二分类问题，基本分类器的错误率为：
  • 假设集成分类器通过简单投票结合了 T 个分类器，当超过一半的基本分类器正确时，分类结果是正确的。

图片2

• 内容:

  • 假设基本分类器的错误率彼此独立，根据霍夫丁不等式（Hoeffding inequality），集成分类器的错误率为：

  • 以上公式表明，在 的情况下，随着集成分类器数量 T 的增加，集成分类器的错误率会指数级下降，最终趋于 0。

  • 关键假设: 基本分类器的错误彼此独立。

1. 多元分布

1.1 多元分布概率函数

这部分内容详细介绍了多元概率分布函数的定义和相关概念，以下是逐条解释：

---

1. 随机向量的定义

• 一个向量，如果它的每个分量都是随机变量，则称这个向量是随机向量。
• 随机向量通常表示为： 其中 是 p 个随机变量。

随机向量是单一随机变量的推广，允许同时描述多个随机变量之间的联合概率特性。

---

2. 随机变量的分布函数

1. 定义

1.1 矩阵

矩阵

• 矩阵：A 的形状由 p 行和 q 列组成。
• 矩阵 A 的一般表示法：

向量

• 列向量 a：是一个 维的列向量，表示为：
• 行向量 ：是一个 维的行向量，表示为：

向量的长度

• 向量 a 的长度定义为： 如果向量是单位向量，则满足：

Question 1

在什么情况下使用 classification clustering regression 模型？

1. 输出是什么？
   • 离散值（类别）→ 分类问题
     • 例如：邮件是“垃圾”还是“正常”？
   • 连续值（数值） → 回归问题
     • 例如：预测房价是多少？
   • 没有标签、需要分组→ 聚类问题
     • 例如：根据行为将用户分组。
2. 有没有标签？
   • 有明确的标签（监督学习） → 可能是分类或回归问题。
   • 没有标签（无监督学习） → 聚类问题。
3. 数据的目标是什么？
   • 给一个分组或类别 → 分类。
   • 给一个数值预测 → 回归。
   • 自动分组 → 聚类。

Bayesian Decision Theory

• 它是在概率框架下实施决策的基本方法。
• 对于分类任务，在已知所有相关概率的理想情况下，贝叶斯决策制定考虑的是如何根据这些概率和误分类损失选择最佳类别标签。

：物理意义：给定输入样本 x，其真实类别为 的概率。

1. Bayes决策规则（Bayes Decision Rule）

翻译：