什么是多项式回归？
多项式回归（Polynomial Regression） 是线性回归的扩展，通过添加多项式特征来拟合非线性关系。
核心直觉：
- 通过添加 x²、x³ 等高次项，模型可以拟合曲线
- 本质仍是线性回归——只是对变换后的特征做线性拟合
- 次数越高，拟合能力越强，但容易过拟合
与普通线性回归对比：
- 线性回归：$\hat{y} = w_1 x + w_0$（直线）
- 二次回归：$\hat{y} = w_2 x^2 + w_1 x + w_0$（抛物线）
- 更高次：更复杂的曲线
🎯 适用场景
- 非线性关系建模：当数据呈现曲线关系时，线性回归无法很好拟合
- 曲线拟合：物理学、工程学中的曲线数据建模
- 经济预测：经济增长、市场趋势等非线性预测场景
- 温度/时间序列：季节性变化、周期性数据的拟合
- 探索性数据分析：快速了解数据的非线性特征
📜 历史渊源
问题背景：线性回归只能画直线，但自然界的数据很少是直线——行星轨道是椭圆，抛体运动是抛物线，经济增长是曲线。数学家们需要一种方法来拟合"弯曲"的数据。
关键突破：19世纪的数学家们发现了一个巧妙的技巧：把 $x$ 变成 $x, x^2, x^3, \ldots$，然后对这些"新特征"做线性回归。这样，非线性问题就被转化成了线性问题！这个思想后来被称为特征工程——通过变换输入来扩展模型的表达能力。
深远影响："把非线性问题变成线性问题"的思路影响深远。从多项式特征到核方法（SVM），再到神经网络的隐藏层，本质上都是在做某种形式的特征变换。
趣闻：多项式回归也是"过拟合"概念的最佳教学案例。用10次多项式去拟合10个数据点可以完美通过每个点，但曲线在点之间会剧烈震荡——这就是为什么"训练误差为零"不一定是好事。
🔗 发展脉络
⚠️ 局限性
- 容易过拟合：高次多项式会在训练数据上表现很好，但泛化能力差
- 外推能力差：超出训练数据范围的预测往往出现剧烈震荡
- 选择合适次数困难：需要交叉验证等方法来确定最优的多项式次数
- 边界行为不稳定：高次多项式在数据边界处可能产生不合理的预测
- 多重共线性：$x$, $x^2$, $x^3$ 等特征之间高度相关
💡 解决方案：使用正则化（Ridge/Lasso）控制过拟合，或使用样条回归获得更稳定的边界行为
🏢 工业界地位
多项式回归在工业界主要用于简单非线性问题的基线方法：
- 物理建模：传感器校准、系统响应曲线拟合
- 经济分析：短期趋势预测、需求曲线估计
- 质量控制：工艺参数优化、响应曲面方法
- 金融：收益率曲线拟合、波动率建模
🎯 何时选择多项式回归？当你需要快速建立非线性基线模型，且数据范围可控时。对于复杂的非线性问题，现代工业界更倾向于使用神经网络或决策树等更灵活的方法。
交互式可视化
调整多项式次数，观察拟合效果和过拟合现象
- 设置「多项式阶数」为 1（直线）→ 2（抛物线）→ 10（极度弯曲）——观察过拟合的过程
- 增大「噪声」，观察高阶多项式在噪声数据上剧烈波动——这就是过拟合的危害
- 比较训练误差和测试误差：高阶时训练误差很低但测试误差很高——找到最佳阶数
拟合曲线
权重分布
模型信息：
MSE: --
R² 分数:
不同次数的拟合对比：
数学原理
直觉引入：线性回归只能拟合直线，但现实数据往往是弯曲的。多项式回归的思路：把 $x$ 变成 $x, x^2, x^3, \ldots$，然后对这些"新特征"做线性回归。本质上是用特征工程把非线性问题变成线性问题。
特征变换：
模型（对变换后的特征是线性的）：
损失函数（可加正则化）：
偏差-方差权衡（核心概念）：
• $d$ 太小（如 $d=1$）：欠拟合——模型太简单，连训练数据都拟合不好（高偏差）
• $d$ 太大（如 $d=15$）：过拟合——完美通过训练点，但在新数据上表现很差（高方差）
• 正确做法：用交叉验证选择最优 $d$，或加正则化（$\alpha > 0$）控制复杂度
这就是机器学习中最重要的权衡：模型复杂度 vs 泛化能力。