网站漏洞扫描工具,网页开发,如何上wordpress,国外网站建设软件1 介绍
对于具有相同形状的张量 ypred 和 ytrue#xff08;ypred 是输入#xff0c;ytrue 是目标#xff09;#xff0c;定义逐点KL散度为#xff1a; 为了在计算时避免下溢问题#xff0c;此KLDivLoss期望输入在对数空间中。如果log_targetTrue#xff0c;则目标…1 介绍
对于具有相同形状的张量 ypred 和 ytrueypred 是输入ytrue 是目标定义逐点KL散度为 为了在计算时避免下溢问题此KLDivLoss期望输入在对数空间中。如果log_targetTrue则目标也在对数空间。 2 参数
reduction reduction “mean”不返回真正的KL散度值reduction “batchmean”才是 log_target指定目标是否在对数空间中
3 举例
import torch
import torch.nn as nninput torch.tensor([[0.5, -0.5, 0.1], [0.1, -0.2, 0.3]], requires_gradTrue)target torch.tensor([[0.7, 0.2, 0.1], [0.1, 0.5, 0.4]])loss_function nn.KLDivLoss(reductionbatchmean)
loss loss_function(input, target)
print(loss)
#tensor(-1.0176, grad_fnDivBackward0)
等价手动形式
target*(target.log()-input)tensor([[-0.5997, -0.2219, -0.2403],[-0.2403, -0.2466, -0.4865]], grad_fnMulBackward0)
#这里的每个元素计算方式为tensor([[-0.5997, -0.2219, -0.2403],[-0.2403, -0.2466, -0.4865]], grad_fnMulBackward0)
torch.sum(target*(target.log()-input))/2
#tensor(-1.0176, grad_fnDivBackward0)
