百度推广需要自己有网站吗,计算机网站建设开题报告,国内最新军事新闻,就业创业网站建设分类
分类是一种监督机器学习任务#xff0c;其中训练模型来预测给定输入数据点的类或类别。分类旨在学习从输入特征到特定类或类别的映射。
有不同的分类任务#xff0c;例如二元分类、多类分类和多标签分类。 二元分类是一项训练模型来预测两个类别之一的任务#xff0c…分类
分类是一种监督机器学习任务其中训练模型来预测给定输入数据点的类或类别。分类旨在学习从输入特征到特定类或类别的映射。
有不同的分类任务例如二元分类、多类分类和多标签分类。 二元分类是一项训练模型来预测两个类别之一的任务例如“垃圾邮件”或“非垃圾邮件”。 多类分类是一项训练模型来预测图像的多个类之一的任务例如“狗”、“猫”和“鸟”。 多标签分类是一项训练模型来预测单个数据点的多个标签的任务例如公园里狗的图像的“狗”和“户外”。
分类算法可以基于决策树、朴素贝叶斯、k 最近邻、支持向量机、随机森林、梯度提升、神经网络等技术。
最常见损失函数BCE、WBCE、CCE、Sparse Categorical Cross-entropy Loss、Cross-Entropy loss with label smoothing、Focal loss、Hinge Loss。
Binary Cross Entropy (BCE)
二元交叉熵BCE也称为对数损失是二元分类问题常用的损失函数。它测量类别的预测概率与真实类别标签之间的差异。
交叉熵是信息论中的一个众所周知的概念通常用于测量两个概率分布之间的差异。在二元分类中真实类别通常由 one-hot 编码向量表示其中真实类别的值为 1另一类别的值为 0。预测概率由预测概率向量表示每个类别其中真实类别的预测概率由 p ( y 1 ∣ x ) p(y 1|x) p(y1∣x) 表示其他类别的预测概率由 p ( y 0 ∣ x ) p(y 0|x) p(y0∣x) 表示。
损失函数定义为 L ( y , p ) − ( y l o g ( p ) ( 1 − y ) l o g ( 1 − p ) ) L(y, p) −(y log(p) (1 − y) log(1 − p)) L(y,p)−(ylog(p)(1−y)log(1−p))
其中 { − l o g ( p ) y 1 − l o g ( 1 − p ) y 0 \left\{\begin{matrix} −log(p) y 1\\ −log(1 − p)y 0 \end{matrix}\right. {−log(p)−log(1−p)y1y0
其中 y y y 是真实类标签0 或 1 p p p 是正类的预测概率。当预测概率 p p p 等于真实类标签 y y y 时损失函数最小化。
二元交叉熵损失具有几个理想的特性例如易于计算、可微分以及提供模型输出的概率解释。它还提供了平滑的优化表面并且与其他损失函数相比对异常值不太敏感。然而它对类不平衡问题很敏感当一个类的样本数量显着大于另一类时就会发生这种问题。对于这些情况可以使用加权二元交叉熵Weighted Binary Cross Entropy (WBCE)。
Weighted Binary Cross Entropy (WBCE)
标准二元交叉熵损失函数的变体其中在损失计算过程中考虑每个样本的权重。这在样本分布不平衡的情况下很有用。
在标准二元交叉熵损失中损失被计算为给定预测概率的真实标签的负对数似然。在加权二元交叉熵WBCE中为每个样本分配一个权重每个样本的损失计算如下 L − ( w i ⋅ y l o g ( p ) w i ( 1 − y ) l o g ( 1 − p ) ) L −(w_i · ylog(p) w_i(1 − y)log(1 − p)) L−(wi⋅ylog(p)wi(1−y)log(1−p)) 其中 w i w_i wi是分配给第 i i i 个样本的权重 y y y 是真实标签 p p p 是正类的预测概率。
通过为代表性不足的类别的样本分配更高的权重鼓励模型更多地关注这些样本并且可以提高模型的整体性能。
Categorical Cross-entropy Loss (CCE)
分类交叉熵CCE又称负对数似然损失或多类对数损失是一种用于多类分类任务的函数。它衡量的是预测概率分布与真实分布之间的差异。
鉴于预测的概率分布它被定义为真实类别的平均负对数似然。分类交叉熵损失的公式表示为 L − 1 N ∑ i 1 N ∑ j 1 C y i , j l o g ( p i , j ) L-\frac{1}{N} \sum_{i1}^{N} \sum_{j1}^{C} y_{i,j}log(p_i,j) L−N1i1∑Nj1∑Cyi,jlog(pi,j)
其中 N N N 是样本数 C C C 是类别数 y y y 是真实标签 p p p 是真实类别的预测概率。计算每个样本的损失并在整个数据集上取平均值。
真实标签是传统分类交叉熵损失中的one-hot编码向量其中真实类别对应的元素为1所有其他元素为0。但是在某些情况下表示真实类别更方便类作为整数其中整数值对应于导致接下来讨论的稀疏分类交叉熵损失的真实类的索引。
Sparse Categorical Cross-entropy Loss
用于多类分类任务的分类交叉熵损失的变化其中类被编码为整数而不是单热编码向量。鉴于真实标签以整数形式提供我们直接使用提供的标签索引选择正确的类而不是对所有可能的类求和。因此每个例子的损失计算如下: H ( y , y ^ ) − l o g ( y i , y i ^ ) H(y, \hat{y} ) − log(\hat {{y_{_{i} ,y_i} }}) H(y,y^)−log(yi,yi^) 最终的稀疏分类交叉熵损失是所有样本的平均值 H ( Y , Y ^ ) − 1 n ∑ i 1 n l o g ( y i , y i ^ ) H(Y, \hat{Y} ) -\frac{1}{n} \sum_{i1}^{n} log(\hat{{y_{_{i} ,y_i} } }) H(Y,Y^)−n1i1∑nlog(yi,yi^)
其中 y i y_i yi 是第 i i i 个样本的真实类别并且 y i , y i ^ \hat{y_{_{i} ,y_i}} yi,yi^是第 i 个样本对于正确类别 y i y_i yi 的预测概率。
Cross-Entropy loss with label smoothing
在带有标签平滑的交叉熵损失中通过向真实标签添加一个小值并从所有其他标签中减去相同的值来平滑标签。这有助于通过鼓励模型产生更多不确定的预测来减少模型的过度自信。
其背后的动机是在训练模型时通常对其预测过于自信特别是在对大量数据进行训练时。这种过度自信可能会导致在看不见的数据上表现不佳。标签平滑通过鼓励模型做出不太自信的预测来帮助缓解这个问题。
带标签平滑的交叉熵损失的公式与标准分类交叉熵损失类似但在真实标签上添加了一个小 epsilon并从所有其他标签中减去。公式由下式给出 L ( y , y ^ ) ∑ c 1 C [ ( 1 − ϵ ) y c l o g y c ^ ϵ C l o g y ^ ] L(y, \hat{y} ) \sum_{c1}^{C}\left [ (1 − ϵ)y_c log \hat {y_c} \frac{ϵ}{C}log \hat y \right ] L(y,y^)c1∑C[(1−ϵ)yclogyc^Cϵlogy^] 其中 y y y 是真实标签 y ^ \hat y y^ 是预测标签 C C C 是类数 ϵ ϵ ϵ 是平滑值。通常 ϵ ϵ ϵ 设置为一个较小的值例如 0.1 或 0.2。
标签平滑并不总能提高性能通常会尝试不同的 epsilon 值来找到特定任务和数据集的最佳值。
Focal Loss
Focal Loss 是标准交叉熵损失的一种变体它解决了类别不平衡的问题当正样本感兴趣的对象的数量远小于负样本背景的数量时就会发生这种情况。在这种情况下模型往往会关注负样本而忽略正样本从而导致性能不佳。Focal Loss通过降低简单负样本的权重并提高困难正样本的权重来解决这个问题。
Focal Loss定义为 F L ( p t ) − α t ( 1 − p t ) γ l o g ( p t ) FL(p_t) −α_t(1 − p_t)^γ log(p_t) FL(pt)−αt(1−pt)γlog(pt) 其中 p t p_t pt 是真实类别的预测概率 α t α_t αt 是控制每个样本重要性的权重因子 γ γ γ 是控制简单样本加权速率的聚焦参数。
权重因子 α t α_t αt 通常设置为逆类别频率以平衡所有类别的损失。聚焦参数 γ γ γ 通常设置为 2 到 4 之间的值以给予困难示例更多的权重
在 原始论文Focal loss for dense object detection 中作者使用 sigmoid 激活函数进行二元分类使用交叉熵损失进行多类分类。焦点损失与这些损失函数相结合可以提高对象检测和语义分割模型的性能。在最近的工作中Focal Loss 已被用于对象检测、语义、实例分割和人体姿势估计。
Hinge Loss
铰链损失Hinge Loss是用于最大边缘分类的流行函数通常用于支持向量机 (SVM)例如在一对多分类中我们将实例分类为属于我们想要提供的多个类别和情况之一误差幅度。
单个实例的铰链损失函数可以表示为 L ( y , f ( x ) ) m a x ( 0 , 1 − y ⋅ f ( x ) ) L(y, f (x)) max(0, 1 − y · f (x)) L(y,f(x))max(0,1−y⋅f(x)) 其中 y y y 是实例的真实标签在二元分类问题中应为 -1 或 1。 f ( x ) f (x) f(x) 是实例 x x x 的预测输出。原始边距为 y ⋅ f ( x ) y · f (x) y⋅f(x)。
如果实例位于边距的正确一侧则铰链损失为 0。对于边缘错误一侧的数据损失与距边缘的距离成正比。
分割
常见的损失函数包括交叉熵损失、交并集 (IoU) 损失、Focal Loss、Dice 损失、Tversky 损失和 Lovász 损失。
分割的Cross Entropy Loss
分割的交叉熵损失衡量预测分割图和真实分割图 (GT) 之间的差异。交叉熵损失是通过逐像素比较预测和真实分割图来计算的。它被定义为给定预测分割图的真实分割图的负对数似然。交叉熵损失使用以下公式计算: − 1 N ∑ i 1 N ∑ c 1 C y i , c l o g ( p i , c ) -\frac{1}{N} \sum_{i1}^{N} \sum_{c1}^{C} y_{i,c}log(p_{i,c}) −N1i1∑Nc1∑Cyi,clog(pi,c) 其中 N N N 是图像中的像素总数 C C C 是类别数 y y y 是真实分割图 p p p 是预测分割图。 y y y和 p p p的值应该在0和1之间并且总和为1。交叉熵损失越低预测越好。
分割的Intersection Over Union (IoU) loss
Intersection Over UnionIoU损失是语义分割任务中常用的损失函数和评估指标。目标是预测给定图像的每像素分割掩模。 IoU 损失也称为 Jaccard 损失或 Jaccard 指数 (JI)定义为预测掩模和真实掩模的交集与预测掩模和真实掩模的并集之比。 IoU 损失是按像素计算的最终损失是图像中所有像素的平均 IoU。
IoU 损失可以在数学上定义为 I o U 1 n ∑ i 1 n y i ∩ y i ^ y i ∪ y i ^ IoU\frac{1}{n} \sum_{i1}^{n} \frac{y_i\cap \hat {y_i}}{y_i \cup \hat {y_i}} IoUn1i1∑nyi∪yi^yi∩yi^
其中 y i y_i yi 是像素 i i i 的真实掩码 y i ^ \hat {y_i} yi^是预测掩码 y i ∩ y i ^ y_i\cap \hat {y_i} yi∩yi^是真实掩码和预测掩码的交集 y i ∪ y i ^ y_i \cup \hat {y_i} yi∪yi^是真实掩码和预测掩码的并集。
IoU 在各种语义分割工作中通常用作损失函数和评估指标。
Dice Loss
Dice Loss也称为Dice相似系数用于评估预测分割掩模与真实分割掩模之间的相似性。损失函数定义为 L 1 − 2 ⋅ i n t e r s e c t i o n ( p r e d , g t ) ∣ p r e d ∣ ∣ g t ∣ L 1 − \frac{2 · intersection(pred, gt) }{|pred| |gt|} L1−∣pred∣∣gt∣2⋅intersection(pred,gt) 其中 p r e d pred pred 是预测分割掩码 g t gt gt 是真实分割掩码 i n t e r s e c t i o n ( p r e d , g t ) intersection(pred, gt) intersection(pred,gt) 是预测和真实况掩码交集中的像素数 ∣ p r e d ∣ |pred| ∣pred∣和 ∣ g t ∣ |gt| ∣gt∣分别是预测掩模和真实掩模中的像素总数。
Dice loss 广泛应用于医学成像其目标是高精度分割图像中的结构。
Tversky loss
Tversky Loss是 Dice Loss的变体常用于图像分割任务。它被定义为 T v e r s k y ( A , B ) ∣ A ∩ B ∣ ∣ A ∩ B ∣ α ∣ A − B ∣ β ∣ B − A ∣ Tversky(A, B) \frac{|A ∩ B|}{|A ∩ B| α|{A-B}| β|{B-A}| } Tversky(A,B)∣A∩B∣α∣A−B∣β∣B−A∣∣A∩B∣ 其中 A A A 和 B B B 分别是预测和真实分割掩码 α α α 和 β β β 是用户定义的超参数用于控制误报和误报的权重。
此损失函数与 Dice 损失类似但它允许为误报和误报分配不同的权重这在两类错误之间不平衡很严重的某些场景中非常有用。
Lovász Loss
Lovász Loss背后的主要思想是通过优化预测分割和真实分割之间的 Jaccard 指数或 IoU 来优化 IoU。这种损失函数在图像分割任务中特别有用其中交并IoU分数非常重要。 Lovász Loss 定义为预测分割掩码与真实分割掩码之和通过 Jaccard 指数加权如下 L − 1 N ∑ i − 1 N J a c c a r d ( p i , y i ) l o g ( p i ) L − \frac{1}{N} \sum_{i-1}^{N}Jaccard(p_i, y_i) log(p_i) L−N1i−1∑NJaccard(pi,yi)log(pi) 其中 N N N 是图像中的像素数 p p p 是预测的分割掩模 y y y 是真实分割掩模。
Lovász Loss为不可微 IoU 指标提供了可微替代指标使其可以直接优化。
