无锡加盟网站建设,广州做网页,谷歌网站推广方案,wordpress 小工具 功能BLEU (Bilingual Evaluation Understudy#xff0c;双语评估基准#xff09;是一组度量机器翻译和自然语言生成模型性能的评估指标。BLEU指标是由IBM公司提出的一种模型评估方法,以便在机器翻译领域中开发更好的翻译模型。BLEU指标根据生成的句子与人工参考句子之间的词、短语…BLEU (Bilingual Evaluation Understudy双语评估基准是一组度量机器翻译和自然语言生成模型性能的评估指标。BLEU指标是由IBM公司提出的一种模型评估方法,以便在机器翻译领域中开发更好的翻译模型。BLEU指标根据生成的句子与人工参考句子之间的词、短语和n-gram匹配来计算模型的性能。BLEU指标通常在0和1之间取值其中1表示完美匹配。
BLEU指标计算方法如下
1.对于每个句子 统计生成文本中所有n元组在参考文本中出现的次数。 如果n元组在参考文本中出现了多次则将其计算为出现次数最多的情况。 将所有n元组在参考文本中出现的总次数称为句子的精确匹配数。
2对于所有生成的文本: 统计生成文本中每个n元组的数量. 获取参考文本中每个n元组的最大数量并视为生成文本的最多可能匹配数。 将所有n元组的精确匹配数相加并将结果除以最多可能匹配数。这个分数称为BLEU分数。
BLEU指标具有较好的可解释性直接基于n-gram重叠度来衡量生成文本和参考文本之间的相似度。但是在句子长度较短时BLEU表现不足。
因此实际中通常使用bleu-1bleu-2bleu-3和bleu-4等四个BLEU指标来计算短语匹配的精度。然而它存在着一些缺点比如可能会倾向于短而不是长的句子不能很好地衡量语法和语义问题因此通常需要结合其他评估指标一起使用来评估模型性能。 样例 [“你好”][“你好”]的得分为:{‘bleu-2’: 1.0,‘bleu-4’:1.491668146240062e-154)
