茶企业网站建设模板,网站分布,如何网页设计与制作,搜索附近人软件对话系统#xff08;仅够参考#xff09; 目录对话系统#xff08;仅够参考#xff09;背景类人对话系统的关键特征1、知识运用2、个性体现3、情感识别与表达数据集评价方式评价的一些指标训练模型需要的资源任务型对话系统预训练最新研究进展参考文献背景 对话系统一般包括…对话系统仅够参考 目录对话系统仅够参考背景类人对话系统的关键特征1、知识运用2、个性体现3、情感识别与表达数据集评价方式评价的一些指标训练模型需要的资源任务型对话系统预训练最新研究进展参考文献背景 对话系统一般包括领域内(任务型)对话比如订票订餐等和开放领域对话。前者主要是靠识别特定的意图反复确认来实现整体来说难度不高而后者实现起来相对来说较为困难目前也较为不成熟。之前一些开发领域对话的解决方案如微软的小冰都是一套很复杂的架构但是随着最近几年预训练模型取得的成功对话系统领域也开始探索端到端的实现方式尤其在201920202021这三年涌现出了很多相关研究。比如2020年1月份google发表的Meena、4月份Facebook的Blender以及百度PLATO系列包括PLATO、PLATO-2、PLATO-XL等等前两篇分别发表在ACL2020和ACL-IJCNLP2021PLATO-XL则是今年9月在arxiv上预印目前效果比较好的就是百度的PLATO-XL系列。 这里做一个简单的总结 更多的对话Bot可以看https://zhuanlan.zhihu.com/p/428694878
类人对话系统的关键特征 类人对话系统应同时具备情商和智商能在多领域多场景综合运用多技能来满足用户的信息需求和社交需求。在智商方面能够帮助用户完成任务、信息获取、推荐等在情商方面能够理解情感情绪表达共情实现情感陪伴、情绪疏导等社交类任务。因此我们可以从满足信息需求能力、满足社交需求的能力这两个维度去衡量对话系统的类人水平这主要体现在以下三个关键特征 1、有知识言之有物实现一定程度的理解并运用知识生成高质量的回复。 2、有个性拟人化要求机器体现固定、一致的个性和风格具有固定的人设和个性。 3、有情感有温度具备情绪感知、情感支持和心理疏导的能力从而让聊天过程更有温度满足用户的情感需求。 然而当前的对话系统在理解力、拟人化和与人互动方面面临着巨大的挑战距离人类水平的对话互动能力还相去甚远。比如任务导向型对话系统具有很强的任务完成能力但是社交能力比较低而对于开放域对话系统来讲它的主要目标是社交任务完成能力相对较弱。为了提高对话系统的信息处理和社交连接能力需要综合考虑不同系统的技术实现思路并进行融合。 比如借鉴任务型对话系统的实体识别、意图理解、语义分析以及填槽等技术以提高对话系统的理解力对于开放域对话系统我们注重其弱语义处理的能力包括利用数据驱动的方法、端到端的系统框架以及如何充分利用当前的深度学习模型以及大规模语言模型。 因此在构建下一代类人对话系统时我们应综合考虑任务型和开放域对话系统的技术方法从知识运用、个性体现、情感识别与表达三个层次入手综合运用多种技能提高对话系统的理解力、拟人化和互动性使其在多种场景和领域中实现更接近于人类的对话能力以满足用户的需求。
1、知识运用 在知识运用层面通过引入知识来加强对话系统的理解力和推理能力。在下图所示的对话中讨论的是一个关于歌手汪峰的主题 。在这样的对话过程中系统将对话内容对应到一个特定的知识领域从而使对话过程言之有物。在进行会话时将相关的实体与知识图谱进行了联系然后将结构知识表达为向量实现了知识的编码与解码。通过这样的编码和解码处理可以达到某种程度的理解让回答变得更有说服力增加了对话过程中产生的信息量。 2、个性体现 高质量的对话活动需要赢得对方的信任而具有固定、一致的个性、身份是其中的关键因素。具有固定一致个性的对话交互技术在情感陪护、心理咨询等对话场景中有着非常重要的应用。在对话的过程中缺乏一致的身份和个性会使得系统在对话的过程中难以取得用户的信任因此难以进行有效的社交互动。 围绕类人对话系统的个性体现以 Emohaa 与用户的对话为例在对话中Emohaa先是用语言直接地表达了自己的身份女生和很可爱的个性面对客户的反问“为什么觉得自己很可爱”Emohaa也能够回复“因为可爱所以可爱”这样的个性化描述强化自己可爱的特性。 个性体现还涉及到更深层次的说话风格。在说话风格的研究中我们发现对话可以实现正式与非正式互相之间的转换以及礼貌和非礼貌之间的转换。但这种用自然语言表达角色和个性通常是微妙和含蓄的研究也极具挑战。
3、情感识别与表达 1997年MIT教授Picard提出了情感计算的概念指出「情感感知和情绪表达是人类智能行为中的重要特征」。情绪感知和情感表达在人类的智能交互里至关重要这不仅能提高系统表现和用户满意度还能很大程度上体现系统的情商避免对话陷入僵局。 清华大学的CoAI课题组在2018年提出了情绪化聊天机器人Emotional Chatting Machine, ECM系统希望能够让对话系统像人类一样表达喜怒哀乐。当指定一个情绪类别时对话系统能生成对应情绪类别、且适合对话上文的回复内容。 实现情绪化的对话过程是类人对话系统实现情感智能的一小步。而在日常对话中对他人表达同理心是情绪有效表达的必要条件之一。它使系统能够理解、感知和适当地回应用户的情况和感受从而很大程度地改善用户体验和满意度。因此如何让对话系统中具备共情能力是迈向类人对话系统的关键一步。体现共情通常要求对话系统具备情绪疏导或心理疏导的能力以完成复杂的情感交流任务。 为此CoAI课题组借鉴心理咨询的中助人技巧理论提出了一个三阶段理论模型。第一阶段先确认用户的具体问题第二阶段通过共情、理解表达支持第三个阶段为用户提供解决方案、出路。在每一个阶段都设计了相应的策略如提供信息、直接指导、挑战、解释等。通过这些策略才能实现有效的情绪疏导和心理疏导。这个技术正是Emohaa背后最核心的技术Emohaa学习了人类咨询师的助人技术能实现一定程度的共情技巧真正帮人实现情绪支持和心理疏导。 共情是一个广泛的概念包括情感和认知两个方面。情感方面涉及对用户体验的情感模拟而认知方面旨在理解用户的处境和隐性的情感。现有的研究方法通常只关注情感方面即通过检测和利用用户的情感来产生共情的交互。 然而实现共情除了识别用户的情绪外还应该考虑对用户处境的认知。为此CoAI课题组提出了一种新的共情响应生成方法即利用常识来加强认知获取更多关于用户情况的信息并利用这些额外的信息进一步增强生成响应中的共情表达。
数据集 这里主要介绍一下常用的公开数据集和评价方式以及训练这些模型需要的一个资源。 英文公开数据集Reddit and Twitter 爬取的数据集。 中文公开数据集chatterbot豆瓣多轮PTT八卦语料青云语料电视剧对白语料贴吧论坛回语料微博语料小黄鸡语料。 评价方式 评价的一些指标 训练模型需要的资源 任务型对话系统预训练最新研究进展 近年来随着预训练模型的发展对话领域的研究也逐渐开始关注基于预训练的端到端对话系统2019-2021 这三年的时间涌现出很多关于开放域对话系统预训练的相关研究基于英文的包括 google 在 2020 年 1 月发表的 Meena、Facebook 在 4 月发表的 Blender基于中文的主要以百度 PLATO 系列模型为代表。这些模型的成功一定程度上表明海量数据和更大的模型能为对话系统带来很好的性能收益。 然而这种依靠参数量、数据量来提升系统性能的方式对于任务型对话而言并不完全适用。一方面任务型对话数据集本身比闲聊型对话更难收集想要获取一个非常大的数据集来对任务型对话系统进行预训练是非常困难的另一方面预训练模型参数过大训练和运行需要很高的计算成本会存在无法快速部署的问题。由于以上问题的存在任务型对话预训练的发展速度明显不如开放域对话但最近两年也逐渐有一些针对任务型对话进行预训练的相关工作。 主要的工作有 • 2020EMNLPTOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [2] • 2021TACLSoloist: Building task bots at scale with transfer learning and machine teaching [3] • 2021arXivPPTODMulti-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue SystemPPTOD[4] • 2022AAAIGALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised[5] Learning and Explicit Policy Injection 【待补充。。。。】
参考文献
1、https://mp.weixin.qq.com/s/FeOm2gRoNVt1S4adnBeV7Q 2、https://mp.weixin.qq.com/s/-ZbDqxS7RsS7B__6oKbSHA 3、https://mp.weixin.qq.com/s/b3JSE1o9dr7loafwhEWomA 4、https://mp.weixin.qq.com/s/c11ksniOBG8-Q0fWxNZX6Q 5、https://mp.weixin.qq.com/s/cVT3jt777lL7meJ24-N2GA
