dedecms建手机网站流程,网站开发课程建议,设计网名大全,深圳宝安房价大家好#xff0c;这里是好评笔记#xff0c;公主号#xff1a;Goodnote#xff0c;专栏文章私信限时Free。本笔记介绍机器学习中常见的损失函数和代价函数#xff0c;各函数的使用场景。 热门专栏
机器学习
机器学习笔记合集
深度学习
深度学习笔记合集 文章目录 热门… 大家好这里是好评笔记公主号Goodnote专栏文章私信限时Free。本笔记介绍机器学习中常见的损失函数和代价函数各函数的使用场景。 热门专栏
机器学习
机器学习笔记合集
深度学习
深度学习笔记合集 文章目录 热门专栏机器学习深度学习 损失函数一、回归问题中的损失函数1. 均方误差Mean Squared Error, MSE2. 平均绝对误差Mean Absolute Error, MAE3. 对数余弦损失Log-Cosh Loss4. Huber 损失Huber Loss5. 平均平方对数误差Mean Squared Logarithmic Error, MSLE总结 二、分类问题中的损失函数1. 0-1 损失0-1 Loss2. 对数损失Log Loss或交叉熵损失Cross-Entropy Loss二分类问题多分类问题 3. Focal 损失Focal Loss4. Hinge 损失合页损失5. Kullback-Leibler 散度KL Divergence总结 损失函数
一、回归问题中的损失函数
1. 均方误差Mean Squared Error, MSE
定义 MSE 1 n ∑ i 1 n ( y i − y ^ i ) 2 \text{MSE} \frac{1}{n} \sum_{i1}^{n} (y_i - \hat{y}_i)^2 MSEn1i1∑n(yi−y^i)2
描述MSE 衡量的是预测值和真实值之间的平方误差的平均值。对较大的误差会进行更大的惩罚因此它对异常值outliers非常敏感。应用场景线性回归、岭回归等模型的损失函数。优点简单易于理解容易求导和计算。缺点对异常值敏感可能导致模型被少数异常样本主导。
2. 平均绝对误差Mean Absolute Error, MAE
定义 MAE 1 n ∑ i 1 n ∣ y i − y ^ i ∣ \text{MAE} \frac{1}{n} \sum_{i1}^{n} |y_i - \hat{y}_i| MAEn1i1∑n∣yi−y^i∣
描述MAE 衡量的是预测值和真实值之间的绝对误差的平均值。它对每个误差的惩罚是线性的因此对异常值的惩罚不如 MSE 严重。应用场景在对异常值不敏感的回归任务中使用。优点对异常值不敏感能够更加稳定地反映模型性能。缺点在优化过程中绝对值函数不可导求解困难。
3. 对数余弦损失Log-Cosh Loss
定义 Log-Cosh Loss 1 n ∑ i 1 n log ( cosh ( y i − y ^ i ) ) \text{Log-Cosh Loss} \frac{1}{n} \sum_{i1}^{n} \log\left(\cosh\left(y_i - \hat{y}_i\right)\right) Log-Cosh Lossn1i1∑nlog(cosh(yi−y^i)) 说明 cosh ( x ) \cosh(x) cosh(x): 双曲余弦函数公式为 cosh ( x ) e x e − x 2 \cosh(x) \frac{e^x e^{-x}}{2} cosh(x)2exe−x。 描述对数余弦损失是Huber 损失的变体它的行为类似于 MAE同时对大误差有更小的增长率。应用场景适用于异常值影响较大的回归任务。优点具有平滑性易于求导对小误差敏感而对大误差鲁棒。缺点相比其他损失函数计算复杂度较高。
4. Huber 损失Huber Loss
定义 L ( y i , y ^ i ) { 1 2 ( y i − y ^ i ) 2 if ∣ y i − y ^ i ∣ ≤ δ , δ ⋅ ∣ y i − y ^ i ∣ − 1 2 δ 2 if ∣ y i − y ^ i ∣ δ . L(y_i, \hat{y}_i) \begin{cases} \frac{1}{2} (y_i - \hat{y}_i)^2 \text{if } |y_i - \hat{y}_i| \leq \delta, \\ \delta \cdot |y_i - \hat{y}_i| - \frac{1}{2} \delta^2 \text{if } |y_i - \hat{y}_i| \delta. \end{cases} L(yi,y^i){21(yi−y^i)2δ⋅∣yi−y^i∣−21δ2if ∣yi−y^i∣≤δ,if ∣yi−y^i∣δ. δ \delta δ: 超参数定义切换 MSE 和 MAE 的阈值。 ∣ y i − y ^ i ∣ |y_i - \hat{y}_i| ∣yi−y^i∣: 误差的绝对值。 描述Huber 损失是MSE 和 MAE 的折中。对于小误差使用 MSE对于大误差使用 MAE从而对异常值有一定的鲁棒性。应用场景回归问题中存在异常值但又不希望过于忽略异常值的场景。优点对小误差敏感同时对大误差具有一定的抗干扰性。缺点参数 ( δ \delta δ) 需要手动调节不同数据集效果不同。
5. 平均平方对数误差Mean Squared Logarithmic Error, MSLE
定义 MSLE 1 n ∑ i 1 n ( log ( 1 y i ) − log ( 1 y ^ i ) ) 2 \text{MSLE} \frac{1}{n} \sum_{i1}^{n} \left( \log(1 y_i) - \log(1 \hat{y}_i) \right)^2 MSLEn1i1∑n(log(1yi)−log(1y^i))2 n n n: 数据点的总数。 y i y_i yi: 第 i i i 个真实值必须为非负数。 y ^ i \hat{y}_i y^i: 第 i i i 个预测值必须为非负数。 log ( 1 x ) \log(1 x) log(1x): 对 x x x 加 1 后取自然对数用于平滑较小的值和避免对 0 的对数操作。 描述MSLE 用于处理目标值差异较大且有显著指数增长趋势的情况。它更关注相对误差而非绝对误差。应用场景如人口增长预测、市场销量预测等场景。优点对大数值的预测更稳定对目标值的比例关系有更好的衡量。缺点当目标值非常小时惩罚效果不明显。
总结
损失函数描述应用场景优点缺点均方误差 (MSE)衡量预测值和真实值之间平方误差的平均值对较大误差进行更大惩罚。线性回归、岭回归等简单易于理解容易求导。对异常值敏感。平均绝对误差 (MAE)衡量预测值和真实值之间绝对误差的平均值。对异常值不敏感的回归任务对异常值不敏感反映模型性能更稳定。优化困难绝对值函数不可导。对数余弦损失 (Log-Cosh)Huber 损失的变体既能捕捉小误差也对大误差有更小的增长率。异常值影响较大的回归任务平滑性好易于求导适应大误差和小误差。计算复杂度高。Huber 损失 (Huber Loss)结合MSE和MAE小误差时使用 MSE大误差时使用 MAE平衡异常值的影响。存在异常值但不希望完全忽略的场景对小误差敏感对大误差有抗干扰性。需调节参数 (delta)。平均平方对数误差 (MSLE)衡量目标值差异大且有指数增长趋势的情况关注相对误差而非绝对误差。人口增长预测、市场销量预测等对大数值预测更稳定适应有比例关系的数据。对极小值目标效果不佳。
二、分类问题中的损失函数
1. 0-1 损失0-1 Loss
定义 L ( y , y ^ ) { 0 , if y y ^ , 1 , if y ≠ y ^ . L_(y, \hat{y}) \begin{cases} 0, \text{if } y \hat{y}, \\ 1, \text{if } y \neq \hat{y}. \end{cases} L(y,y^){0,1,if yy^,if yy^.
描述0-1 损失表示分类是否正确0 为正确分类1 为错误分类。它无法直接用于模型优化只能用于评价模型性能。应用场景模型性能的评估如准确率Accuracy的计算。优点简单直观能够清晰判断分类是否正确。缺点不可导无法用于梯度优化。
2. 对数损失Log Loss或交叉熵损失Cross-Entropy Loss
描述交叉熵损失衡量的是预测分布和真实分布之间的距离。在二分类与 Sigmoid 函数结合在多分类与 Softmax 函数结合。应用场景广泛用于逻辑回归、神经网络等分类任务。优点能够很好地度量概率分布之间的差异梯度计算简单。缺点对数据不平衡较为敏感。
二分类问题
在二分类问题中交叉熵损失衡量真实标签 ( y y y ) 和预测概率 ( y ^ \hat{y} y^ ) 之间的差异。公式为 L ( y , y ^ ) − [ y log ( y ^ ) ( 1 − y ) log ( 1 − y ^ ) ] L(y, \hat{y}) - \left[ y \log(\hat{y}) (1 - y) \log(1 - \hat{y}) \right] L(y,y^)−[ylog(y^)(1−y)log(1−y^)] 符号说明 y ∈ { 0 , 1 } y \in \{0, 1\} y∈{0,1}真实标签0 表示负类1 表示正类。 y ^ ∈ [ 0 , 1 ] \hat{y} \in [0, 1] y^∈[0,1]预测为正类的概率。
多分类问题
对于 k k k 个类别的多分类问题交叉熵损失扩展为多个输出类的加权损失公式为 L ( y , y ^ ) − ∑ i 1 k y i log ( y ^ i ) L(y, \hat{y}) - \sum_{i1}^{k} y_i \log(\hat{y}_i) L(y,y^)−i1∑kyilog(y^i)
符号说明 k k k类别数量。 y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi∈{0,1}第 i i i 类的真实标签使用独热编码表示只有一个值为 1其余为 0。 y ^ i ∈ [ 0 , 1 ] \hat{y}_i \in [0, 1] y^i∈[0,1]模型预测的第 i i i 类的概率通常通过 softmax 函数获得。 Sigmoid 函数 公式 σ ( z ) 1 1 e − z \sigma(z)\frac1{1e^{-z}} σ(z)1e−z1其中 z z z 是模型的线性输出即预测值。Sigmoid 函数将模型的线性输出 z z z转化为一个介于 0 和 1 之间的值表示属于类别 1 的概率。 交叉熵损失 在二分类任务中真实标签 y y y通常取 0(负类)或1(正类)。交叉熵损失的公式为 L o s s − [ y ⋅ log ( p ) ( 1 − y ) ⋅ log ( 1 − p ) ] \mathrm{Loss}-\left[y\cdot\log(p)(1-y)\cdot\log(1-p)\right] Loss−[y⋅log(p)(1−y)⋅log(1−p)] 其中 p σ ( z ) p\sigma(z) pσ(z)是经过 Sigmoid 函数后模型预测属于类别 1 的概率。 Softmax 函数 公式 S o f t m a x ( z i ) e z i ∑ j e z j \mathrm{Softmax}(z_i) \frac{e^{z_i}}{\sum_j e^{z_j}} Softmax(zi)∑jezjezi其中 z i z_i zi 是第 i i i 个类别的得分 ∑ j e z j \sum_j e^{z_j} ∑jezj 是所有类别的得分的指数和。Softmax 函数将每个类别的得分 z i z_i zi 转化为一个概率 p i p_i pi即样本属于第 i i i 个类别的概率。 交叉熵损失 在多分类任务中真实标签 y y y 是一个 one-hot 编码向量即样本的真实类别的概率是 1其他类别的概率是 0。交叉熵损失的公式 Loss − ∑ i y i ⋅ log ( p i ) \text{Loss} -\sum_i y_i \cdot \log(p_i) Loss−i∑yi⋅log(pi) 其中 p i p_i pi 是 Softmax 函数输出的属于类别 i i i 的概率 y i y_i yi 是真实的类别标签通常为 0 或 1。 3. Focal 损失Focal Loss
定义 Focal Loss − α t ( 1 − p ^ t ) γ log ( p ^ t ) \text{Focal Loss} -\alpha_t (1 - \hat{p}_t)^\gamma \log(\hat{p}_t) Focal Loss−αt(1−p^t)γlog(p^t)
其中 p ^ t \hat{p}_t p^t 是模型对正确类别的预测概率。 α t \alpha_t αt 是类别平衡权重用来调整类别不平衡问题 α t ∈ [ 0 , 1 ] \alpha_t \in [0, 1] αt∈[0,1]通常用于为不同类别分配不同的权重。 γ \gamma γ 是调节因子控制模型对难分类样本的关注程度常取值为 0 到 5 之间通常选取 γ 2 \gamma 2 γ2 效果较好。 注t 是该样本的真实类别标签 p ^ t \hat{p}_{t} p^t: 这是模型对样本真实类别 t t t 的预测概率。假设样本属于类别 t t t则 p ^ t \hat{p}_{t} p^t 就是模型对类别 t t t 的预测概率。如果是二分类任务 t t t 为 1 代表正类为 0 代表负类如果是多分类任务 t t t 是类别的索引。 α t \alpha_{t} αt: 这是类别 t t t 的权重系数。通过 t t t可以为当前样本所属类别 t t t 分配一个权重 α t \alpha_{t} αt。对于不平衡数据集来说 α t \alpha_{t} αt 通常设置为少数类的权重大主要用来调整损失函数对不同类别样本的关注程度。 描述Focal 损失是对交叉熵损失的改进用于解决类别不平衡问题。通过调节参数 ( γ \gamma γ ) 和 ( α \alpha α )它增加了对困难样本的关注降低了对易分类样本的影响。应用场景目标检测中的单阶段检测器如 RetinaNet以及其他类别不平衡的分类问题。优点有效解决类别不平衡问题增强模型对困难样本的关注。缺点参数选择复杂训练时间较长。
4. Hinge 损失合页损失
定义对于二分类问题 L ( y , y ^ ) max ( 0 , 1 − y ⋅ y ^ ) L(y, \hat{y}) \max(0, 1 - y \cdot \hat{y}) L(y,y^)max(0,1−y⋅y^) 其中 y ∈ { − 1 , 1 } y \in \{ -1, 1 \} y∈{−1,1} y ^ \hat{y} y^是模型的预测输出。 描述Hinge 损失用于支持向量机SVM中。它在样本被正确分类且间隔大于 1 时损失为 0否则损失为 1。旨在最大化样本的分类间隔。应用场景线性支持向量机、核支持向量机等。优点有助于最大化分类间隔提高模型的泛化能力。缺点对于误差大的样本损失增长过快。
5. Kullback-Leibler 散度KL Divergence
定义 K L ( p ∥ q ) ∑ i p ( x i ) log p ( x i ) q ( x i ) KL(p \parallel q) \sum_i p(x_i) \log \frac{p(x_i)}{q(x_i)} KL(p∥q)i∑p(xi)logq(xi)p(xi)
描述KL 散度衡量两个概率分布之间的差异常用于无监督学习中的聚类分析。应用场景概率模型的优化如变分自编码器VAE、生成对抗网络GAN中的判别模型。优点对概率分布之间的微小差异非常敏感。缺点对稀疏分布的概率模型不稳定。
总结
损失函数描述应用场景优点缺点0-1 损失 (0-1 Loss)分类正确为 0错误为 1用于衡量分类是否正确。准确率等分类性能评估简单直观。不可导无法用于优化。交叉熵损失 (Cross-Entropy)衡量预测分布和真实分布之间的距离二分类结合 Sigmoid多分类结合 Softmax。逻辑回归、神经网络等分类任务很好地衡量概率分布差异梯度计算简单。对数据不平衡敏感。Focal 损失 (Focal Loss)交叉熵的改进通过调节 ( gamma ) 和 ( alpha )增加对困难样本的关注减少易分类样本影响解决类别不平衡问题。类别不平衡问题如目标检测 (RetinaNet)增强对困难样本的关注解决类别不平衡。参数选择复杂训练时间较长。Hinge 损失 (合页损失)用于 SVM正确分类且间隔大于 1 时损失为 0旨在最大化分类间隔。线性 SVM、核 SVM提高泛化能力有助于最大化分类间隔。对误差大的样本损失增长快。KL 散度 (KL Divergence)衡量两个概率分布的差异常用于无监督学习中的聚类分析。概率模型优化如 VAE、GAN对概率分布的差异敏感。对稀疏分布不稳定。
