两学一做学习网站,做一手房用什么网站,免费建论坛,长春网长春关键词排名站设计摘要#xff1a;
在已有的研究中#xff0c;我们知道英语语言模型中包含了类人的道德偏见#xff0c;但从未有研究去检测语言模型对不同国家文化的道德差异。
我们分析了语言模型包含不同国家文化道德规范的程度#xff0c;主要针对两个方面#xff0c;其一是看语言模型…摘要
在已有的研究中我们知道英语语言模型中包含了类人的道德偏见但从未有研究去检测语言模型对不同国家文化的道德差异。
我们分析了语言模型包含不同国家文化道德规范的程度主要针对两个方面其一是看语言模型是否捕捉到了不同国家文化里对一些主题的细粒度道德差异其二是看语言模型有没有捕捉到文化多样性和不同国家的人们对一些话题表现出分歧或一致的共同倾向。
现在的单语英语语言模型对非英语文化中的道德规范的推断有偏差通过微调模型虽然可以减少这种偏差但对英语文化道德规范的自动推理又有了偏差。
接下来我们还讨论了将文化道德规范知识纳入语言模型自动推理的相关性和挑战。 介绍
主要是介绍这个领域前人所做的工作以及我们做出的新探索和做出新探索的目的和意义还有我们是如何做出新探索的给出大致的方法。
理解文化道德规范知识对机器智能发展有着至关重要的作用
已有的目前的研究表明EPLM可以捕捉人们的道德偏见区分道德上正确和错误的行为。
我们的调查了EPLM是否编码了不同文化的道德规范知识。
已有的MPLM能够在有限的环境中识别文化道德规范和偏见先前的研究只使用EPLM来评估它对不同社区的不良偏见的编码。
我们的对此做出了扩展我们研究了单语EPLM是否能够推断出不同文化的道德规范
我们的动机其一英语在线上线下应用广泛EPLM可以用于多元文化环境所以我们需要了解EPLM是否编码了文化多样性的知识其二因为EPLM编码了英语文化环境下的道德知识这些知识很可能导致对非英语文化的潜在偏见从而对非英语文化社区产生误导性描述。
我们的方法
第一步是基于数据集的道德调查分析。我们使用大型的跨文化数据集超越了现有的来自多语种PLM和单语种PLM的小范围工作。我们将不同国家的官方道德规范作为代表通过两个层次的分析来解决相应问题一是EPLM编码的道德知识是否反映了不同国家的道德规范二是EPLM是否能推断出对不同主题的道德判断的文化多样性和共同倾向
我们使用了两个公开的全球道德调查一级分析探索了EPLM中的文化道德知识的细粒度差异二级分析调查了EPLM中关于道德判断的共性和跨文化的可变性。
在道德调查中我们使用国家来代表不同文化这有局限性因为这种方法不能完全区分出同一个国家内的不同文化。
第二步是探究通过微调EPLM来提高其在多元文化环境中对道德规范的推断能力还研究了为什么这种方法会降低对英语文化中道德规范的推断能力。 相关工作 自然语言处理中的自动道德推理已有的研究已经可以将EPLM用于预测道德规范的基础不论有没有进行微调EPLM都可以实现类似人的道德判断但是这种方法使用了一套单一的道德规范没有检测道德规范中的文化多样性。语言模型预测已有的研究使用了一种方法来识别被PLM捕获的有害信息和偏见这种方法也被应用于调查多语种中的职业性别偏见但是结论证明MPLM的捕获与使用这些语言的国家的文化价值观无关我们的研究评估了更细粒度的差异还有最近的研究发现模型输出与人类判断存在相关性但是这项研究还是使用了代表英语文化环境的单一的道德评价体系。 推测文化道德规范的方法
我们开发了一种跨文化的细粒度道德规范推理方法这种方法运用到了基线法。先在不考虑文化因素的情况下探究EPLM对一个主题的道德规范知识再通过SBERT的大均值标记句子转换模型使用主题和主题国家对作为提示探究EPLM对不同国家的道德规范推理结果。 自回归EPLM
其实就是用到一个模型输入是国家主题对输出道德分数道德分数为正说明在这个国家里人们对这个主题的道德评价是正面的道德分数为负的话说明道德评价是负面的。
我们还对几个GPT使用了调查问卷以获取它们对于道德问题的回答。 数据集
三个数据集前两个是不同国家的道德规范问题和回答第三个是同质道德规范信息。
