机械配件东莞网站建设,京东商城网上购物官网,玉环建设局网站,国家信用信息企业公示系统查询LASSO (Least Absolute Shrinkage and Selection Operator) 是一种回归分析的方法#xff0c;它能够同时进行变量选择和正则化#xff0c;以增强预测准确性和模型的解释性。LASSO通过在损失函数中加入一个L1惩罚项来实现这一点。该惩罚项对系数的绝对值进行约束。
基本概念 …LASSO (Least Absolute Shrinkage and Selection Operator) 是一种回归分析的方法它能够同时进行变量选择和正则化以增强预测准确性和模型的解释性。LASSO通过在损失函数中加入一个L1惩罚项来实现这一点。该惩罚项对系数的绝对值进行约束。
基本概念
在一个线性回归模型中我们通常寻找权重向量 x x x使得 ∥ A x − b ∥ 2 2 \|Ax - b\|_2^2 ∥Ax−b∥22 (二范数平方即平方误差) 尽可能小其中 A A A 是特征矩阵 b b b 是观察值向量。在LASSO回归中我们求解的优化问题变为 min x { ∥ A x − b ∥ 2 2 λ ∥ x ∥ 1 } \min_x \left\{ \|Ax - b\|_2^2 \lambda\|x\|_1 \right\} xmin{∥Ax−b∥22λ∥x∥1}
这里 ∥ x ∥ 1 \|x\|_1 ∥x∥1 表示 x x x 的L1范数俗称为曼哈顿距离即系数的绝对值之和 λ \lambda λ 是正则化系数它决定了添加到模型中的惩罚的严重程度。
LASSO算法的关键特点是在参数 λ \lambda λ 足够大时一些系数可以被缩减为零即模型可以排除一些特征对输出的影响。这可以解释为模型自动进行特征选择。
示例
以下是一个简单的例子和用MATLAB实现的过程
首先创建一些合成数据如用户之前的输入所示。我们使用 randn 函数生成正态分布的随机数创建了一个100x10的矩阵 A A A 作为特征矩阵以及一个有两个非零项的系数向量 x x x。然后我们计算观察值向量 b b b并添加一些噪声。
使用MATLAB内置的 lasso 函数我们可以拟合一个LASSO模型。lasso 函数还允许我们进行交叉验证通过参数 CV, 10来选择合适的 λ \lambda λ。lassoPlot 函数用于可视化交叉验证结果。最后我们选取最佳的系数向量并且对选取的系数再进行一次普通最小二乘回归即所谓的去偏置步骤。
MATLAB代码
这是用MATLAB实现的步骤展示
% 创建特征矩阵和观察值
A randn(100,10);
x [0; 0; 1; 0; 0; 0; -1; 0; 0; 0];
b A*x 2*randn(100,1);% L2-正则化最小二乘
xL2 pinv(A)*b;% LASSO回归
[XL1, FitInfo] lasso(A, b, CV, 10);% LASSO交叉验证结果可视化
lassoPlot(XL1, FitInfo, PlotType, CV);% 选择1标准误差规则下的系数
xL1 XL1(:, FitInfo.Index1SE);% 去偏置
xL1DeBiased pinv(A(:, abs(xL1) 0)) * b;在这个例子中最后的步骤是进行去偏置De-Biasing。由于LASSO倾向于收缩系数为了获得无偏的预测通常会在LASSO选择的特征上运行一个没有正则化的线性回归。通过选择那些在LASSO模型下非零的系数作为特征我们可以再次使用普通的最小二乘估计也就是 pinv(A(:, abs(xL1) 0)) * b来获得去偏的系数估计 xL1DeBiased。
运行结果 相关博文
理解并实现OpenCV中的图像平滑技术
OpenCV中的边缘检测技术及实现
OpenCV识别人脸案例实战
入门OpenCV图像阈值处理
我的图书
下面两本书欢迎大家参考学习。
OpenCV轻松入门
李立宗OpenCV轻松入门电子工业出版社2023 本书基于面向 Python 的 OpenCV(OpenCV for Python)介绍了图像处理的方方面面。本书以 OpenCV 官方文档的知识脉络为主线并对细节进行补充和说明。书中不仅介绍了 OpenCV 函数的使用方法还介绍了函数实现的算法原理。
在介绍 OpenCV 函数的使用方法时提供了大量的程序示例并以循序渐进的方式展开。首先直观地展示函数在易于观察的小数组上的使用方法、处理过程、运行结果方便读者更深入地理解函数的原理、使用方法、运行机制、处理结果。在此基础上进一步介绍如何更好地使用函数处理图像。在介绍具体的算法原理时本书尽量使用通俗易懂的语言和贴近生活的实例来说明问题避免使用过多复杂抽象的公式。
本书适合计算机视觉领域的初学者阅读包括在校学生、教师、专业技术人员、图像处理爱好者。 本书第1版出版后深受广大读者朋友的喜爱被很多高校选为教材目前已经累计重印9次。为了更好地方便大家学习对本书进行了修订。
计算机视觉40例
李立宗计算机视觉40例电子工业出版社2022 近年来我深耕计算机视觉领域的课程研发工作在该领域尤其是OpenCV-Python方面积累了一点儿经验。因此我经常会收到该领域相关知识点的咨询内容涵盖图像处理的基础知识、OpenCV工具的使用、深度学习的具体应用等多个方面。为了更好地把所积累的知识以图文的形式分享给大家我将该领域内的知识点进行了系统的整理编写了本书。希望本书的内容能够对大家在计算机视觉方向的学习有所帮助。 本书以OpenCV-Pythonthe Python API for OpenCV为工具以案例为载体系统介绍了计算机视觉从入门到深度学习的相关知识点。 本书从计算机视觉基础、经典案例、机器学习、深度学习、人脸识别应用等五个方面对计算机视觉的相关知识点做了全面、系统、深入的介绍。书中共介绍了40余个经典的计算机视觉案例其中既有字符识别、信息加密、指纹识别、车牌识别、次品检测等计算机视觉的经典案例也包含图像分类、目标检测、语义分割、实例分割、风格迁移、姿势识别等基于深度学习的计算机视觉案例还包括表情识别、驾驶员疲劳监测、易容术、识别年龄和性别等针对人脸的应用案例。 在介绍具体的算法原理时本书尽量使用通俗易懂的语言和贴近生活的示例来说明问题避免使用复杂抽象的公式来介绍。 本书适合计算机视觉领域的初学者阅读适于在校学生、教师、专业技术人员、图像处理爱好者使用。
