为中小型企业构建网站,php网站开发学什么,网站建设免费建站,数字广东网络建设有限公司是国企1. BLEU#xff08;Bilingual Evaluation Understudy#xff09;
目标#xff1a;衡量生成文本和参考文本之间的词汇相似性。
计算步骤#xff1a; N-gram 匹配#xff1a; 将生成文本和参考文本分解成 1-gram、2-gram、…、N-gram#xff08;通常取到 4-gram#xff…1. BLEUBilingual Evaluation Understudy
目标衡量生成文本和参考文本之间的词汇相似性。
计算步骤 N-gram 匹配 将生成文本和参考文本分解成 1-gram、2-gram、…、N-gram通常取到 4-gram。统计生成文本中的 N-gram 是否出现在参考文本中。 精确匹配率 对每个 N-gram计算生成文本中匹配的数量与总数量的比值 Precision n 生成文本中匹配的 N-gram 数 生成文本中的 N-gram 总数 \text{Precision}_n \frac{\text{生成文本中匹配的 N-gram 数}}{\text{生成文本中的 N-gram 总数}} Precisionn生成文本中的 N-gram 总数生成文本中匹配的 N-gram 数 加权平均 对不同的 N-gram 精确率取加权几何平均权重通常相等 BLEU N exp ( ∑ n 1 N w n ⋅ log ( Precision n ) ) \text{BLEU}_N \exp\left(\sum_{n1}^N w_n \cdot \log(\text{Precision}_n)\right) BLEUNexp(n1∑Nwn⋅log(Precisionn)) 其中 w n 1 N w_n \frac{1}{N} wnN1。 长度惩罚 如果生成文本的长度与参考文本长度差距过大BLEU 分数会受到惩罚 BP { 1 , 生成文本长度 参考文本长度 exp ( 1 − 参考文本长度 生成文本长度 ) , 否则 \text{BP} \begin{cases} 1, \text{生成文本长度} \text{参考文本长度} \\ \exp\left(1 - \frac{\text{参考文本长度}}{\text{生成文本长度}}\right), \text{否则} \end{cases} BP{1,exp(1−生成文本长度参考文本长度),生成文本长度参考文本长度否则 最终公式 BLEU BP ⋅ exp ( ∑ n 1 N w n ⋅ log ( Precision n ) ) \text{BLEU} \text{BP} \cdot \exp\left(\sum_{n1}^N w_n \cdot \log(\text{Precision}_n)\right) BLEUBP⋅exp(n1∑Nwn⋅log(Precisionn)) 2. ROUGERecall-Oriented Understudy for Gisting Evaluation
目标衡量生成文本覆盖参考文本的程度更关注召回率。
主要变体 ROUGE-N基于 N-gram 的召回率 计算生成文本中匹配的 N-gram 占参考文本中 N-gram 的比例 ROUGE-N 匹配的 N-gram 数量 参考文本中的 N-gram 总数 \text{ROUGE-N} \frac{\text{匹配的 N-gram 数量}}{\text{参考文本中的 N-gram 总数}} ROUGE-N参考文本中的 N-gram 总数匹配的 N-gram 数量 ROUGE-L基于最长公共子序列的匹配 计算生成文本与参考文本的最长公共子序列LCS然后基于 LCS 的长度计算召回率和精确率 R LCS 参考文本长度 , P LCS 生成文本长度 R \frac{\text{LCS}}{\text{参考文本长度}}, \quad P \frac{\text{LCS}}{\text{生成文本长度}} R参考文本长度LCS,P生成文本长度LCS ROUGE-L ( 1 β 2 ) ⋅ P ⋅ R R β 2 ⋅ P \text{ROUGE-L} \frac{(1 \beta^2) \cdot P \cdot R}{R \beta^2 \cdot P} ROUGE-LRβ2⋅P(1β2)⋅P⋅R 其中 β \beta β 是召回权重。 ROUGE-S基于跳跃的二元词对 计算生成文本和参考文本中所有词对的匹配情况。 3. METEORMetric for Evaluation of Translation with Explicit ORdering
目标解决 BLEU 无法捕获语义相似性和顺序的重要性问题。
计算步骤 匹配策略 包括词形匹配exact、同义词匹配synonymy、词干匹配stemming。对生成文本中的每个词找出参考文本中最优匹配。 精确率与召回率 计算生成文本与参考文本的匹配精度P和召回率R P 匹配的词数 生成文本的总词数 , R 匹配的词数 参考文本的总词数 P \frac{\text{匹配的词数}}{\text{生成文本的总词数}}, \quad R \frac{\text{匹配的词数}}{\text{参考文本的总词数}} P生成文本的总词数匹配的词数,R参考文本的总词数匹配的词数 调和平均 对 P 和 R 使用 F1 分数加权 F ( 1 β 2 ) ⋅ P ⋅ R R β 2 ⋅ P F \frac{(1 \beta^2) \cdot P \cdot R}{R \beta^2 \cdot P} FRβ2⋅P(1β2)⋅P⋅R 惩罚因子 考虑词序对齐情况加入惩罚因子 (P_{\text{penalty}})对不连贯的匹配施加惩罚 Penalty γ ⋅ ( chunk 数量 匹配词数 ) 3 \text{Penalty} \gamma \cdot \left(\frac{\text{chunk 数量}}{\text{匹配词数}}\right)^3 Penaltyγ⋅(匹配词数chunk 数量)3 最终分数 METEOR F ⋅ ( 1 − Penalty ) \text{METEOR} F \cdot (1 - \text{Penalty}) METEORF⋅(1−Penalty) 4. Perplexity
目标衡量语言模型生成文本的连贯性和预测能力表示模型对句子的不确定性。
计算公式
对于语言模型给定的句子 w 1 , w 2 , … , w N w_1, w_2, \ldots, w_N w1,w2,…,wNPerplexity 定义为 Perplexity 2 − 1 N ∑ i 1 N log 2 P ( w i ∣ w 1 , … , w i − 1 ) \text{Perplexity} 2^{-\frac{1}{N} \sum_{i1}^N \log_2 P(w_i | w_1, \ldots, w_{i-1})} Perplexity2−N1∑i1Nlog2P(wi∣w1,…,wi−1)
解释 概率计算 P ( w i ∣ w 1 , … , w i − 1 ) P(w_i | w_1, \ldots, w_{i-1}) P(wi∣w1,…,wi−1) 表示模型预测第 i i i 个词的概率。高概率模型更确定对应低 Perplexity。 直观意义 Perplexity 越低说明模型越能有效预测文本。Perplexity 是对数似然的指数变换 Perplexity exp ( − 1 N ∑ i 1 N log P ( w i ) ) \text{Perplexity} \exp\left(-\frac{1}{N} \sum_{i1}^N \log P(w_i)\right) Perplexityexp(−N1i1∑NlogP(wi))
