机器学习算法原理

Appearance

正则化回归 ​

本章目标 ​

  1. 理解正则化回归在回归分册中的定位——线性回归的升级版，通过 L1/L2 惩罚约束系数。
  2. 了解正则化回归的三模型架构（Lasso / Ridge / ElasticNet）及其工程结构。
  3. 明确正则化回归与线性回归、决策树回归、SVR 的关键差异。

重点方法与概念速览 ​

名称类型作用
trainRegularizationModels(...)函数一次性训练 Lasso、Ridge、ElasticNet 三个模型，返回 dict
StandardScaler预处理对 21 维特征做 Z-score 标准化——正则化回归强制要求
Lasso(alpha=0.15)类L1 正则化——将不相关特征的系数驱动到精确零
Ridge(alpha=2.0)类L2 正则化——将系数向零收缩但不精确为零
ElasticNet(alpha=0.2, l1_ratio=0.5)类L1 + L2 混合——兼具稀疏性和收缩能力
近零系数计数诊断np.sum(np.abs(coef) < 1e-3)——衡量 Lasso/ElasticNet 的稀疏效果

正则化回归与本仓库其他回归模型的定位对比 ​

维度线性回归正则化回归决策树回归SVR
核心能力无偏线性拟合带约束的线性拟合——控制系数大小非线性分段常数核化非线性
特征选择无Lasso 可精确清零隐式（分裂选择）无
共线性处理系数不稳定显式——L2 收缩 + L1 稀疏鲁棒核隐式处理
模型复杂度控制固定（特征数）惩罚力度 α + l1_ratiomax_depth / min_samples_splitC + ε + γ
需要标准化否（当前）是——惩罚项对尺度敏感否是
训练方式SVD 闭式解坐标下降 / 闭式解CART 贪心递归SMO 类凸优化
输出模型数13（Lasso + Ridge + ElasticNet）11
教学定位回归起点线性回归的升级——约束与选择的艺术非线性对比核方法对比

文件导航 ​

文件内容核心问题
01-mathematicsL1/L2 罚项的数学形式、坐标下降、近端梯度L1 惩罚为什么产生稀疏解？
02-data糖尿病数据 + 共线列 + 噪声列——三层特征结构为什么正则化回归数据需要共线和噪声特征？
03-intuition收缩直觉、稀疏性直觉、L1 vs L2 几何直觉为什么 L1 收缩到零而 L2 只收缩不归零？
04-modeltrainRegularizationModels 三模型字典构建Lasso/Ridge/ElasticNet 的超参数各控制什么？
05-training-and-prediction标准化 → 训练三个模型 → 分别预测为什么正则化必须先标准化？
06-evaluation系数打印 + 近零计数 + 多模型对比三个模型的系数稀疏性如何对比？
07-implementationPipelineSpec 多模型配置 + 运行器多模型分支运行器如何处理 multiModel=True？
08-exercises-and-references自检问题 + 动手练习 + 参考文献调 α 观察系数归零过程

学习路线 ​

  1. 先看线性回归：正则化回归是线性回归的约束版本——理解 OLS 后再看约束才有意义。
  2. 理解标准化必要性：正则化回归是本仓库回归分册中第一个强制标准化的模型——这是它与线性回归和决策树回归最关键的工程差异。
  3. 三模型并列对比：Lasso（L1）→ 稀疏、Ridge（L2）→ 收缩、ElasticNet→ 混合——始终以对比视角理解三者。
  4. 关注近零系数：np.sum(np.abs(coef) < 1e-3) 是正则化回归独有的诊断指标——其他回归模型没有"系数清零"这个概念。