ch 07 支持向量机

零散知识点

• SVM 本质上是线性的，但是可以通过核函数把非线性数据弄成线性的、高维的数据。
• Kernel function (干嘛的？) —— 把数据在高维弄成线性的，输入两个低维向量，输出内积（即他们的关系）
  • As long as the kernel matrix corresponding to a symmetric function is semi-positive definite, it can be used as a kernel function.

k-Nearest Neighbor Learning

1. 原理

定义：kNN 是一种简单且常用的监督学习算法。

机制：

• 对于一个测试样本，找到其在训练集中最近的 k 个邻居。
• 使用某种距离度量（如欧几里得距离）来判断哪些邻居是最近的。
• 基于这 k 个邻居的类别或特征来预测测试样本的结果。

2. 距离度量:

• 欧几里得距离（Euclidean Distance）：

  • 公式：
  • 定义：这是最常用的直线距离度量，表示两点之间的实际空间距离。
  • 场景：在 2D 和 3D 空间中最为直观，适用于计算点之间的直接距离。

• 曼哈顿距离（Manhattan Distance）：

  • 公式：
  • 定义：图中展示的红色和蓝色路径是曼哈顿距离（Manhattan Distance），也被称为城市街区距离（City Block Distance）。这类距离度量方法是计算从一个点到另一个点在直角网格上的水平和垂直移动距离之和。。
  • 别名：又称为城市街区距离（City Block Distance）。
  • 场景：适用于网格或正交路径的场景，比如城市道路导航。

• 切比雪夫距离 (Chebyshev Distance)：

  • 公式：最大坐标差值：
  • 解释：类似棋盘上国王移动的最少步数。

• 闵可夫斯基距离 (Minkowski Distance)：

  • 公式：

  • 特殊情况：

    • ：曼哈顿距离。
    • ：欧氏距离。
    • ：切比雪夫距离。

Clustering Problem

• 它是 “无监督学习 ”任务中研究最多、应用最广泛的一种方法。
• 聚类目标：将数据集中的样本分成几个通常互不相交的子集（簇）。
• 聚类可以作为一个单独的过程（发现数据的内在分布结构），也可以作为分类等其他学习任务的前奏。

应用场景：

1. 用户画像：根据行为或特征对用户进行分组，以提供个性化服务。
2. 新闻聚类：将相似的新闻归为一类，便于内容管理或推荐。
3. 基因分析：根据基因数据寻找潜在模式或结构，推动生物医学研究。

Ensemble Learning

图片1

• 标题: 单个分类器与集成分类器的简单分析
• 内容:
  • 假设这是一个二分类问题，基本分类器的错误率为：
  • 假设集成分类器通过简单投票结合了 T 个分类器，当超过一半的基本分类器正确时，分类结果是正确的。

图片2

• 内容:

  • 假设基本分类器的错误率彼此独立，根据霍夫丁不等式（Hoeffding inequality），集成分类器的错误率为：

  • 以上公式表明，在 的情况下，随着集成分类器数量 T 的增加，集成分类器的错误率会指数级下降，最终趋于 0。

  • 关键假设: 基本分类器的错误彼此独立。

Question 1

在什么情况下使用 classification clustering regression 模型？

1. 输出是什么？
   • 离散值（类别）→ 分类问题
     • 例如：邮件是“垃圾”还是“正常”？
   • 连续值（数值） → 回归问题
     • 例如：预测房价是多少？
   • 没有标签、需要分组→ 聚类问题
     • 例如：根据行为将用户分组。
2. 有没有标签？
   • 有明确的标签（监督学习） → 可能是分类或回归问题。
   • 没有标签（无监督学习） → 聚类问题。
3. 数据的目标是什么？
   • 给一个分组或类别 → 分类。
   • 给一个数值预测 → 回归。
   • 自动分组 → 聚类。

Bayesian Decision Theory

• 它是在概率框架下实施决策的基本方法。
• 对于分类任务，在已知所有相关概率的理想情况下，贝叶斯决策制定考虑的是如何根据这些概率和误分类损失选择最佳类别标签。

：物理意义：给定输入样本 x，其真实类别为 的概率。

1. Bayes决策规则（Bayes Decision Rule）

翻译：

Basic Process

tree structure

决策树的结构：

• 使用树形结构进行预测。
• 每个节点代表一个决策规则（如 "if-then-else" 规则），每个分支代表一个判断分支，叶节点给出最终的类别或数值预测。

流程：

• 从根节点开始，根据特征值进行分裂，按照“if-then-else”规则递归地进行决策。
• 通过分支（branching）将数据逐步分类或回归。

Margin and Support Vector

在线性模型中，我们会发现很多个超平面可以分割两个类。如何选择这些超平面呢？

We should choose the "middle", which has good tolerance, high robustness, and the strongest generalization ability.

如何选择最优超平面

1. 超平面

超平面方程：

其中：

• ：超平面的法向量，决定超平面的方向。
• ：偏置项，决定超平面与原点的距离。

Neron model

1. 模型的运行流程

• 接收输入信号：多个输入 xix_ixi 通过加权连接传入神经元。
• 加权求和：输入信号与权重相乘后相加，并加上偏置项 。
• 激活函数处理：加权和 z 通过激活函数 进行非线性变换。
• 输出信号：生成的输出 被送到下一层神经元或输出层。

2. M-P neron model

Linear Regression

What’s the linear regression

1. 监督学习 (Supervised learning)：
   学习样本定义为 ​。这是指模型通过已有的输入输出样本对来学习预测关系。

2. 预测结果 是连续变量 (The predicted result is a continuous variable)：
   这对应于 线性回归 (Linear Regression)，即模型尝试找到输入 x 和输出 y 之间的线性关系来进行预测。

3. 预测结果 是离散变量 (The predicted result is a discrete variable, classification)：
   这对应于 对数几率回归 (Log-odds Regression)，通常用于分类问题，例如二分类任务。

   线性回归像是一把直尺，可以测量任意大小（实数）的东西。

   逻辑回归给这把直尺加了一个「限制」，比如测量的结果只能在 0 到 1 之间（通过 sigmoid 函数压缩），用来表示可能性。

   详情

4. 假设输入 x 和输出 y 之间存在线性关系 (Assume that there is a linear relationship between input x and output y)：
   这是线性模型的核心假设，即输出是输入的线性组合。