做网站的维护成本,临沂网站建设设计公司,沈阳做网站的公司推荐,上不了建设银行网站【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器 目录 文章目录 【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器目录摘要研究背…【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器 目录 文章目录 【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器目录摘要研究背景问题与挑战如何解决创新点算法模型实验效果推荐阅读指数 后记 摘要
本文提出了一种新的翻译任务范式“GenTranslate”它基于大型语言模型LLMs来从N-best列表中生成更好的翻译结果。该范式利用LLMs丰富的语言知识和强大的推理能力整合N-best候选信息以产生更高质量的翻译结果。此外为了支持LLMs的微调作者构建并发布了一个包含超过592K个N-best假设-翻译对的HypoTranslate数据集涵盖11种语言。在各种语音和机器翻译基准测试例如FLEURS、CoVoST-2、WMT上的实验表明GenTranslate显著优于现有最先进模型。
研究背景
随着大型语言模型LLMs的发展多语种语音和机器翻译领域取得了显著进展。LLMs通过减少表示错误和整合外部知识推动了多语种语音和机器翻译的发展。然而现有的翻译任务通常使用束搜索解码和top-1假设选择进行推理这些技术难以充分利用N-best假设中的丰富信息对于需要单一、高质量输出序列的翻译任务来说并不理想。
问题与挑战
主要挑战在于如何充分利用N-best假设中的信息来生成更准确、更高质量的翻译结果。
如何解决
作者提出了GenTranslate它通过LLMs整合N-best列表中的不同翻译版本以生成更高质量的翻译结果。此外为了微调LLMs作者构建了HypoTranslate数据集。
创新点
提出了GenTranslate这是一种新的利用LLMs生成高质量翻译结果的范式。构建并发布了HypoTranslate数据集支持LLMs的微调。
算法模型
GenTranslate基于LLMs通过整合N-best假设来生成翻译结果。它使用适当的指令提示LLMs并通过自回归方式进行优化。具体来说GenTranslate的框架包括
使用SeamlessM4T作为基础翻译模型进行束搜索解码和假设生成。利用LLMs整合N-best假设生成最终翻译结果。采用LLaMAAdapter进行LLMs的高效微调。
实验效果
在多个语音和机器翻译基准测试中GenTranslate均显示出比现有最先进模型更好的性能。例如在FLEURS、CoVoST-2、WMT等测试集上GenTranslate的平均BLEU分数较基线模型有显著提升。具体数据如下
在FLEURS X→En测试集上GenTranslate的平均BLEU分数为34.6而SeamlessM4T-Large为27.1显示出3.0 BLEU的改进。在CoVoST-2 X→En测试集上GenTranslate的平均BLEU分数为41.7而SeamlessM4T-Large为34.5显示出7.2 BLEU的改进。
推荐阅读指数
★★★★☆ 后记
如果您对我的博客内容感兴趣欢迎三连击(点赞、收藏、关注和评论)我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享助力您更快更准更系统地了解 AI前沿技术。
