好用的网站建设工具,美摄短视频sdk,wordpress 模板 新闻,wordpress 去掉评论一、回归算法思维导图 二、算法概念、原理、应用场景和实例代码
1、线性回归 1.1、概念 线性回归算法是一种统计分析方法#xff0c;用于确定两种或两种以上变量之间的定量关系。 线性回归算法通过建立线性方程来预测因变量#xff08;y#xff09;和一个或多个自变量…一、回归算法思维导图 二、算法概念、原理、应用场景和实例代码
1、线性回归 1.1、概念 线性回归算法是一种统计分析方法用于确定两种或两种以上变量之间的定量关系。 线性回归算法通过建立线性方程来预测因变量y和一个或多个自变量x之间的关系。其基本形式为 y wx e其中 w 是权重x 是自变量e 是误差项。 1.2、算法原理 线性回归算法的核心在于找到最佳的拟合直线使得预测值与实际值之间的误差最小。这通常通过最小二乘法来实现即最小化预测值与实际值之差的平方和。线性回归可以分为一元线性回归和多元线性回归 1一元线性回归只有一个自变量 x 和一个因变量 y。 2多元线性回归有多个自变量 x1, x2, …, xn 和一个因变量 y。 1.3、应用场景 线性回归算法广泛应用于各个领域包括但不限于 1经济学预测股票价格、经济增长等。 2医学预测疾病发病率、药物效果等。 3环境科学预测气候变化、污染水平等。 4市场营销预测销售量、市场份额等。 1.4、公式推导 线性回归方程的推导过程包括以下几个步骤 1计算平均值分别计算 x 和 y 的平均值。 2计算分子和分母使用最小二乘法计算回归系数 b 和 a。 3建立方程最终得到线性回归方程 y bx a其中 b 是斜率a 是截距。 1.5、实例分析 假设有一组数据点 (x1, y1), (x2, y2), …, (xn, yn)线性回归的目标是找到一条直线 y bx a使得所有数据点到这条直线的垂直距离的平方和最小。通过最小二乘法可以求解出最佳的 b 和 a 值从而得到具体的线性回归方程。 1.6、具体代码
鸢尾花数据集介绍 该数据集包含了三个品种的鸢尾花Setosa、Versicolor、Virginica每个品种各有50个样本共计150个样本。对于每个样本测量了4个特征花萼长度、花萼宽度、花瓣长度、花瓣宽度以及其所属的品种标签。 数据集包括4个属性分别为花萼的长、花萼的宽、花瓣的长和花瓣的宽。对花瓣我们可能比较熟悉花萼是什么呢花萼是花冠外面的绿色被叶在花尚未开放时保护着花蕾。四个属性的单位都是cm属于数值变量四个属性均不存在缺失值的情况字段如下表所示 from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
import matplotlib.pyplot as plt
import matplotlib# 设置字体为SimHei确保该字体在你的系统中存在
matplotlib.rcParams[font.sans-serif] [SimHei] # 指定默认字体
matplotlib.rcParams[axes.unicode_minus] False # 解决保存图像时负号-显示为方块的问题# 加载鸢尾花数据集
def LoadIrisDataset():# 1.加载鸢尾花数据集iris datasets.load_iris()X iris.data # 特征数据包含所有样本的4个特征y iris.target # 目标变量目前我们只使用第一个目标0-1-2类# 2.我们选择使用一个特征来进行线性回归例如花瓣长度X X[:, [2]] # 选择第三个特征花瓣长度# 3.将数据集分为训练集和测试集X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)# 4.创建线性回归模型model LinearRegression()# 5.训练模型model.fit(X_train, y_train)# 6.预测测试集的结果y_pred model.predict(X_test)# 7.评估模型性能mse mean_squared_error(y_test, y_pred)r2 r2_score(y_test, y_pred)# 8.模型评估print(f系数斜率: {model.coef_[0]})print(f截距: {model.intercept_})print(f均方误差 (MSE): {mse})print(f决定系数 (R²): {r2})return X_test, y_test, y_pred# 二、绘制回归结果
def PlotResults(X_test, y_test, y_pred):plt.scatter(X_test, y_test, colorblack, labelData)plt.plot(X_test, y_pred, colorblue, linewidth3, labelLinear Regression)plt.xlabel(花瓣长度 (cm))plt.ylabel(目标值)plt.title(线性回归模型预测鸢尾花数据集)plt.legend()plt.show()if __name__ __main__:X_test, y_test, y_pred LoadIrisDataset()PlotResults(X_test, y_test, y_pred)控制台输出结果为 2、岭回归 2.1、概念 岭回归(英文名ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法实质上是一种改良的最小二乘估计法通过放弃最小二乘法的无偏性以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法对病态数据的拟合要强于最小二乘法。 2.2、算法原理 2.3、应用场景 1经济学用于经济数据建模以预测经济变量之间的关系。 2生物统计学用于基因表达分析和生物信息学领域以处理高维数据。 3工程学用于工程建模和控制系统设计以改善模型的鲁棒性。 4金融学用于资产定价和风险管理以降低投资组合的风险。 2.4、实例分析 这段代码实现了以下功能 (1). 创建了一个具有10个特征的示例数据集其中包含100个样本。 (2).将数据集划分为训练集和测试集其中80%的数据用于训练20%用于测试。 (3).使用scikit-learn库中的Ridge类定义了岭回归模型并指定了岭参数alpha为1.0。 (4).在训练集上训练了岭回归模型。 (5).在测试集上进行了预测并计算了预测结果与真实值之间的均方误差MSE。 (6).最后绘制了预测值与真实值的对比图以直观地展示模型的性能。 # 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_errordef TrainRidgeModel():# 1.创建示例数据集np.random.seed(0)X np.random.rand(100, 10) # 100个样本10个特征y 2 * X[:, 0] 3 * X[:, 1] np.random.randn(100) # 构造线性关系并添加噪声# 2.将数据集划分为训练集和测试集X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)# 3.定义岭回归模型ridge Ridge(alpha1.0) # alpha为岭参数默认为1.0# 4.在训练集上训练模型ridge.fit(X_train, y_train)# 5.在测试集上进行预测y_pred ridge.predict(X_test)# 6.计算均方误差MSE作为性能评估指标mse mean_squared_error(y_test, y_pred)print(岭回归模型的均方误差为:, mse)return y_test, y_preddef PlotPredictions(y_test, y_pred):# 1.绘制预测值与真实值的对比图plt.figure(figsize(8, 6))plt.scatter(y_test, y_pred, colorblue)plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], linestyle--, colorred)plt.xlabel(True Values)plt.ylabel(Predictions)plt.title(True vs. Predicted Values (Ridge Regression))plt.show()if __name__ __main__:y_test, y_pred TrainRidgeModel()PlotPredictions(y_test, y_pred)控制台输出结果为 3、Lasso回归 3.1、概念 岭回归是一种正则化技术用于处理多重共线性问题。在标准线性回归中模型试图找到最小化残差平方和的参数。然而在存在高度相关特征的情况下最小二乘估计可能会变得不稳定。为了克服这个问题岭回归通过向损失函数添加一个惩罚项即L2正则化项使得模型系数变得更小从而降低了过拟合的风险。 岭回归的目标函数是 其中λ 是正则化参数控制着惩罚的强度。 特点 (1).正则化类型 使用L2正则化也称为权重衰减。 (2).系数收缩 岭回归通过添加平方项来收缩系数但不会将它们缩减至零。 (3).多共线性处理 对于具有多重共线性的数据集非常有效因为它可以稳定系数估计。 (4).参数调整正则化参数λ的选取对于模型性能至关重要。 3.2、应用场景 当数据集中存在高度相关的特征时。 当特征数量较大但样本数量相对较少时。 当我们关心模型的解释性而不是特征选择时。 3.3、实例分析
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Lasso
from sklearn.metrics import mean_squared_error, r2_score
import matplotlib.pyplot as plt
import matplotlib# 设置字体为SimHei确保该字体在你的系统中存在
matplotlib.rcParams[font.sans-serif] [SimHei] # 指定默认字体
matplotlib.rcParams[axes.unicode_minus] False # 解决保存图像时负号-显示为方块的问题def LoadIrisAndPredict():# 1.加载鸢尾花数据集iris datasets.load_iris()X iris.data # 特征数据包含所有样本的4个特征y iris.target # 目标变量目前我们只使用第一个目标0-1-2类# 2.我们选择使用一个特征来进行Lasso回归例如花瓣长度X X[:, [2]] # 选择第三个特征花瓣长度# 3.将数据集分为训练集和测试集X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42)# 4.创建Lasso回归模型lasso_model Lasso(alpha1.0) # alpha是正则化强度# 5.训练模型lasso_model.fit(X_train, y_train)# 6.预测测试集的结果y_pred lasso_model.predict(X_test)# 7.评估模型性能mse mean_squared_error(y_test, y_pred)r2 r2_score(y_test, y_pred)print(f系数斜率: {lasso_model.coef_[0]})print(f截距: {lasso_model.intercept_})print(f均方误差 (MSE): {mse})print(f决定系数 (R²): {r2})return X_test, y_test, y_pred# 可视化结果
def VisualizeResults(X_test, y_test, y_pred):plt.scatter(X_test, y_test, colorblack, labelData)plt.plot(X_test, y_pred, colorblue, linewidth3, labelLasso Regression)plt.xlabel(花瓣长度 (cm))plt.ylabel(目标值)plt.title(Lasso回归模型预测鸢尾花数据集)plt.legend()plt.show()if __name__ __main__:X_test, y_test, y_pred LoadIrisAndPredict()VisualizeResults(X_test, y_test, y_pred)运行结果为 4、弹性网回归 4.1、概念 弹性网络回归Elastic Net Regression是岭回归Ridge Regression和Lasso回归Lasso Regression的结合。它通过引入两个正则化参数来实现特征选择和模型稳定性。弹性网络回归的损失函数结合了L1正则化和L2正则化解决了Lasso在处理高相关特征时的缺陷并且在处理高维数据时表现优异。 4.2、算法原理 4.3、应用场景和优势 弹性网络回归在处理多重共线性和特征选择方面特别有用。它结合了岭回归和Lasso回归的优点适用于高维数据集能够自动选择最重要的特征同时保持模型的稳定性。弹性网络回归在生物信息学、金融数据分析等领域有广泛应用。 4.4、实例分析
在这里插入代码片5、ARIMA 5.1、概念 ARIMAAutoRegressive Integrated Moving Average是一种用于时间序列预测的统计方法。它结合了自回归Autoregressive, AR、差分Integrated,I和移动平均Moving Average, MA三个部分以建模和预测时间序列数据。 5.2、算法原理
1检查平稳性首先需要确保时间序列数据是平稳的。如果数据不是平稳的则需要通过差分使其变得平稳。 2确定参数 p、d 和 q 1选择合适的自回归阶数 ( p )。 2确定使数据平稳所需的差分阶数 ( d )。 3选择合适的移动平均阶数 ( q )。 3模型拟合使用确定的参数进行模型拟合以最小化预测误差。 4模型验证和评估通过残差分析、AIC/BIC准则等方法来评估模型的性能并进行必要的调整。 5.3、应用场景 1金融市场 股票价格预测利用历史股价数据预测未来的股价走势。 汇率变动预测通过观察历史汇率数据来预测未来汇率的变化。 2宏观经济分析 通货膨胀率预测根据过去的通胀数据预测未来的通货膨胀趋势。 GDP增长率预测利用历史的经济数据来预测国家或地区的经济增长情况。 3 供应链管理 库存预测通过历史销售数据来预测未来的需求量从而更好地进行库存管理和优化。 生产计划制定根据历史生产和销售数据来调整未来的生产计划。 4气象和环境科学 温度变化预测利用过去的气温数据来预测未来几天或几周的天气情况。 空气质量预测通过分析历史空气质量数据预测未来的空气污染程度。 5销售预测 产品销量预测根据过去的产品销售数据来预测未来的销售额从而更好地进行库存管理和营销策略制定。 5.4、算法实例 假设我们有一个时间序列数据集并且经过检验发现该数据是不平稳的。我们可以先应用一阶差分使其变得平稳即 ( d 1 )然后选择合适的( p ) 和 ( q ) 值。假设通过试错法确定了 ( (p, d, q) (2, 1, 2) )那么模型可以表示为 ARIMA(2, 1, 2)。 使用Python实现ARIMA 在Python中你可以使用statsmodels库来实现ARIMA模型。以下是一个简单的示例 import pandas as pd
from statsmodels.tsa.arima.model import ARIMA
import matplotlib.pyplot as plt
import matplotlib# 设置字体为SimHei确保该字体在你的系统中存在
matplotlib.rcParams[font.sans-serif] [SimHei] # 指定默认字体
matplotlib.rcParams[axes.unicode_minus] False # 解决保存图像时负号-显示为方块的问题def LoadIrisData():# 1.假设我们有一个时间序列数据集data pd.read_csv(time_series_data.csv, parse_dates[date], index_coldate)data.index.freq D # 设置频率为每天# 2.检查数据平稳性并进行差分diff_data data.diff().dropna()# 3.确定参数 p, d, qmodel ARIMA(data, order(2, 1, 2))results model.fit()print(results.summary())# 4.预测未来值forecast_steps 10forecast results.get_forecast(stepsforecast_steps)mean_forecast forecast.predicted_meanconf_int forecast.conf_int()return data, mean_forecast, conf_int# 绘制预测结果
def PlotForecast(data, mean_forecast, conf_int):plt.figure(figsize(14, 7))plt.plot(data, labelOriginal Data)plt.plot(mean_forecast.index, mean_forecast.values, colorred, labelForecast)plt.fill_between(conf_int.index, conf_int.iloc[:, 0], conf_int.iloc[:, 1], colorpink, alpha0.3)plt.legend()plt.show()if __name__ __main__:data, mean_forecast, conf_int LoadIrisData()PlotForecast(data, mean_forecast, conf_int)运行结果如下
