什么是 SVM？

支持向量机 (Support Vector Machine) 是强大的分类算法，目标是找到一个最优超平面将两类数据分开。

核心直觉：想象你要用一根棍子（超平面）把红球和篮球分开，SVM 要找的是：

  • 能把两类分开（正确分类）
  • 棍子距离两边球都尽可能远（最大化边距）

⚠️ 重点难点：高维问题

SVM 在高维空间中特别强大，但高维无法直接可视化。这里我们在2D中展示，你需要理解：

• 超平面在2D是一条线，在3D是平面，在高维是"超平面"

• 核技巧 (kernel trick) 可以隐式地将数据映射到高维

• 调整参数观察边距如何变化

🎯 适用场景

  • 中小规模数据集：样本数在几千到几万之间效果最好
  • 高维数据：特征维度高但样本少时（如文本分类、基因数据）
  • 需要强泛化能力：最大化边距使模型对未见数据更鲁棒
  • 非线性可分数据：通过核技巧处理复杂边界
  • 二分类问题：原生支持二分类，多分类需要扩展

💡 经典应用：手写数字识别、文本分类、图像分类、生物信息学

📜 历史渊源

问题背景：1960年代，统计学家面临一个根本问题：给定有限的训练数据，如何保证模型在未见数据上也能表现好？当时的方法（如神经网络）虽然训练误差低，但泛化能力缺乏理论保证。

关键突破：1963年，Vapnik 和 Chervonenkis 提出了统计学习理论（VC 理论），给出了泛化误差的数学上界。基于这个理论，他们设计了 SVM：在所有能正确分类的超平面中，选择间隔最大的那个——间隔越大，泛化能力越强。1992年，核技巧的引入让 SVM 能处理非线性问题；1995年，软间隔的引入让它能容忍噪声。

深远影响：SVM 在1990-2000年代统治了机器学习领域，几乎在所有任务上击败了神经网络。它是第一个"有理论保证"的学习算法，催生了核方法、结构风险最小化等重要理论框架。直到2012年深度学习崛起，SVM 才逐渐退居二线。

趣闻：Vapnik 有句名言："如果你有一个好的理论，就不需要大量数据。"这与深度学习"用海量数据暴力拟合"的哲学截然相反。有趣的是，Vapnik 后来加入了 Facebook AI Research——一个以深度学习为核心的实验室。

🔗 发展脉络

1958
逻辑回归
概率分类
边距不够大
→
1963
SVM
最大边距
只能线性
→
1992
核SVM
非线性边界
大数据挑战
→
2012
深度学习
自动特征

⚠️ 局限性

  • 大数据集慢：训练复杂度 O(n²) 到 O(n³)，不适合百万级数据
  • 参数调优困难：C、γ、核函数选择需要交叉验证
  • 可解释性差：尤其是使用核函数后，难以解释决策过程
  • 对噪声敏感：软间隔虽然缓解了问题，但仍是挑战
  • 多分类需要扩展：需要使用一对多或一对一策略

💡 这些局限催生了：线性 SVM（大规模数据）、随机森林（可解释性）、深度学习（自动特征学习）

🏢 工业界地位

特定领域使用

SVM 在深度学习兴起前是最流行的分类算法，现在仍有特定应用：

  • 文本分类：高维稀疏特征，SVM 仍然有效
  • 生物信息学：基因表达数据分类
  • 图像识别：在 CNN 之前是主流方法
  • 入侵检测：网络安全中的异常检测

🎯 现状：在 ImageNet 等大规模视觉任务上已被 CNN 取代，但在小样本、高维数据上仍有优势。sklearn 的 SVM 实现仍然是数据科学工具箱的重要组成部分。

交互式参数探索 🔥

调整 C 参数和核函数，观察决策边界和支持向量的变化

1.00
试一试：
  • 调小「C 值」，间隔（margin）变宽但允许一些误分类；调大 C，间隔变窄但更精确
  • 切换核函数为「RBF」，观察非线性决策边界——能分开环形数据！
  • 使用 RBF 核时调整「γ」：大 γ → 边界更弯曲（可能过拟合），小 γ → 边界更平滑

支持向量数：

边距宽度：

分类准确率：

--

💡 交互探索指南：

  • C 参数小 (C < 1)：允许更多误分类，边距更宽（更正则化）
  • C 参数大 (C > 1)：惩罚误分类更重，边距更窄（更少正则化）
  • Gamma 小 (γ < 1)：高斯核影响范围更大，边界更平滑
  • Gamma 大 (γ > 1)：高斯核影响范围更小，边界更复杂

数学原理

直觉引入：两类点之间画一条分界线，怎样的线"最好"？SVM 的回答：离两边最近的点（支持向量）越远越好——这条"最宽马路"就是最大间隔超平面。

硬间隔（数据线性可分）：

$$\max_{w,b} \frac{2}{\|w\|} \quad \text{s.t. } y_i(w \cdot x_i + b) \geq 1, \forall i$$

符号解释：

  • $w$：超平面法向量（决定方向）
  • $b$：偏置（决定位置）
  • $\frac{2}{\|w\|}$：两类之间的间隔宽度
  • $y_i \in \{-1, +1\}$：类别标签

软间隔（允许少量错误）：

$$\min_{w,b,\xi} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{n}\xi_i \quad \text{s.t. } y_i(w \cdot x_i + b) \geq 1 - \xi_i$$

$C$ 越大越不容忍错误（间隔窄），$C$ 越小越宽容（间隔宽但可能误分）。

对偶问题与拉格朗日：

引入拉格朗日乘子 $\alpha_i$，原问题转化为只依赖内积 $x_i \cdot x_j$ 的对偶形式：

$$\max_\alpha \sum_i \alpha_i - \frac{1}{2}\sum_{i,j} \alpha_i \alpha_j y_i y_j (x_i \cdot x_j)$$

关键洞察：只有 $\alpha_i > 0$ 的点才影响决策——这些就是支持向量。

核技巧（处理非线性）：

把内积 $x_i \cdot x_j$ 替换为核函数 $K(x_i, x_j) = \phi(x_i) \cdot \phi(x_j)$，等价于在高维空间找线性分界面：

  • 线性核：$K(x, x') = x \cdot x'$
  • RBF 核：$K(x, x') = \exp(-\gamma\|x - x'\|^2)$（相当于无穷维映射）
  • 多项式核：$K(x, x') = (\gamma x \cdot x' + r)^d$
核技巧的魔力：我们从不需要真正计算高维映射 $\phi(x)$（可能是无穷维！），只需要计算核函数值。这就是"kernel trick"——用 $O(d)$ 的计算代替 $O(\infty)$ 的映射。