【SVM 理論篇】支援向量機完整原理解說：從概念到數學邏輯
在機器學習中，SVM（Support Vector Machine，支援向量機） 是一個經典又強大的分類模型。
它不僅能精準分辨不同類別，還擅長在高維資料中找到「最佳邊界」。
這篇文章將帶你了解 SVM 的概念、數學原理與模型直覺。
一、SVM 是什麼？
SVM 是一種監督式學習（Supervised Learning） 演算法，常見用途有：
- 二元分類（如垃圾郵件 vs. 正常郵件）
- 多類別分類（如花種辨識）
- 回歸預測（如房價預測）
核心思想很簡單：
SVM 嘗試在資料中找到一條「最能分開不同類別」的線或平面，
並讓這條分界線距離最近的資料點盡量遠。
二、決策邊界與支援向量
假設我們有兩類資料（紅點與藍點），可以畫出許多條線來分開它們。
那 SVM 的目標是什麼？
找到那條「邊界最大」的線（或超平面）。
這樣做的原因是：邊界越大，模型對新資料的分類越有信心、越不容易過擬合。
距離分界線最近的那些資料點，就叫做：
支援向量（Support Vectors）
它們決定了整條線的位置與方向。
三、數學直觀理解
我們想找到一個平面：
w · x + b = 0
這是分類邊界，w 是法向量、b 是偏移量。
分類規則如下：
- 當 (w · x + b) > 0 → 類別 +1
- 當 (w · x + b) < 0 → 類別 -1
為了讓分類最「穩定」，我們希望：
- 所有資料點都被正確分開；
- 且距離邊界最近的點（支援向量）距離最大化。
因此我們的目標是：
最大化邊界（Margin）
實際上可轉換為「最小化 ½‖w‖²」這樣的優化問題。
也就是說，我們在找一個最平滑、最不偏的邊界。
四、Soft Margin 與 C 參數
現實資料往往不是完美可分，因此 SVM 允許少量錯誤分類。
這時我們引入「懲罰係數」 C：
- C 大：希望分類完全正確 → 容易過擬合。
- C 小：容許錯誤 → 模型更平滑。
C 就像「容忍度」的控制鈕，影響模型的彈性。
五、非線性資料與 Kernel Trick
有些資料根本畫不出一條直線能分開（像是圓形分布）。
SVM 用了一個漂亮的數學技巧：
核技巧（Kernel Trick）：
把資料映射到更高維的空間，在那裡可能就能被直線分開！
常見的核函數有：
| 核函數 | 特徵 | 適用情境 |
|---|---|---|
| 線性核 Linear | 簡單快速 | 資料可線性分割 |
| 多項式核 Polynomial | 可擬合曲線關係 | 非線性但規則性強 |
| RBF（高斯）核 | 泛用性高 | 常用於複雜資料 |
| Sigmoid 核 | 類似神經網路 | 特殊應用 |
RBF 核是實務上最常用的選擇。
六、SVM 的優缺點整理
| 優點 | 缺點 |
|---|---|
| 能有效處理高維特徵 | 訓練時間長 |
| 避免過擬合（透過 Margin） | 對 C、γ 敏感 |
| 適合小樣本 | 難以解釋決策過程 |
| 支援多種核函數 | 不適合含太多雜訊的資料 |
七、應用領域
SVM 曾是許多經典應用的核心演算法：
- 郵件分類
- 醫學影像判斷
- 基因資料分析
- 圖像與人臉辨識
- 金融市場預測
八、總結
SVM 的精華在於：
- 「找到最大邊界」的數學邏輯；
- 能用核技巧轉換空間；
- 理論基礎強、泛用性高。
雖然深度學習崛起後，SVM 使用率下降，但它依然是許多領域的「穩定經典」。
