阿里虚拟机建设网站,腾讯官网登录入口,产品设计的8个方法,做网站该注意哪些基本要素在生成人工智能领域工作最有价值的事情之一就是发现新兴技术如何融入新的解决方案。 举个例子#xff1a;在为北美顶级金融服务公司之一设计对话式人工智能助手时#xff0c;WillowTree 的数据和人工智能研究团队 (DART) 发现#xff0c;将意图分类与大型语言模型 (LLM) 结合…在生成人工智能领域工作最有价值的事情之一就是发现新兴技术如何融入新的解决方案。 举个例子在为北美顶级金融服务公司之一设计对话式人工智能助手时WillowTree 的数据和人工智能研究团队 (DART) 发现将意图分类与大型语言模型 (LLM) 结合使用可以提高性能 安全性和成本。
我们将意图分类和LLM与检索增强生成RAG系统的这种交织视为“部分意图分类”。 这种实践及其背后的故事表明对于人工智能专业人士来说创造性地思考并不断尝试新的解决方案是多么重要。
毕竟像 GPT-4 这样强大的 LLM 以及 RAG 系统的开发使开发人员能够创建比依赖传统技术的聊天机器人功能更强大、更自给自足的聊天机器人。 然而这些新模式和方法仍然存在风险。 它们可能会产生无信息或错误的输出即人工智能幻觉或者可能容易被越狱即利用漏洞生成超出道德界限的内容。
鉴于对答案可靠性和模型安全性的担忧仍然是业务和技术领导者最关心的问题我们提出部分意图分类作为这些问题的缓解策略。 NSDT工具推荐 Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包 1、为什么我们转向意图分类
意图映射intent mapping使聊天机器人能够对符合特定用户意图的用户提示提供确定性的、精心策划的响应。 这样做为我们提供了对这些通常不可预测的系统的另一种控制手段。 这些用户意图通常涵盖常见问题 (FAQ)。
但意图分类intent classification还可以检测恶意或偏离主题的行为——旨在越狱系统或使其脱离其认可主题的提示。 因此通过引入确定性用例识别我们创建了针对越狱尝试的强大防御前线。
此外意图分类还可以通过减少延迟和成本来提高聊天机器人的性能。 这是因为意图分类器仅依赖于提示的嵌入和轻量级模型而不依赖于任何 LLM 完成。
2、将意图分类应用于金融服务AI助手
为了支持意图分类系统我们首先需要一组通用意图。 我们可以像生成一组网页常见问题解答一样生成这些内容甚至可以直接从现有的常见问题解答集合中提取它们。 这个想法是在你的意图集中捕获一组常见的用户提示。 为每个意图生成多个示例是必要的这样你的模型就有足够的示例可供训练和测试。 考虑相同用户意图的这些变化
“我如何对信用卡收费提出异议”“我最近的信用卡对账单上有可疑活动。”“我不承认信用卡购买。 我应该怎么办”
这些意图中的每一个都需要在输入中识别出该意图时返回预定的输出。 在我们的例子中我们通过检查嵌入的几何可分离性的验证来开始意图分类的实验。 具有五个意图类别左和七个意图类别右的嵌入的截断 SVD 聚类的比较。 虽然左图显示类别的几何可分离性通常很强但右图显示随着添加更多类别类别在缩小的空间中不易分离。
将 K 均值聚类与奇异值分解 (SVD) 和 t 分布随机邻域嵌入 (t-SNE) 聚类进行比较后结果表明使用 K 最近邻 (KNN) 模型对原始 1,536 个数据进行分类 维度嵌入可能是有效的。 虽然最初的试验表现出很强的用户意图分类准确性但重点不仅仅是每次都准确的意图映射。 意图分类器还必须处理不符合给定意图列表的提示。 这些可能是以下提示
应导致 RAG尝试越狱系统尝试将聊天机器人拉出范围
为了使分类器能够处理未将所需意图与策划响应进行映射的提示除了初始意图集之外我们还必须创建新的类别超出范围、越狱以及相关但非意图的提示。 我们不希望我们的聊天机器人处理超出范围和越狱的提示。 从现在起我们将它们称为“不回答”提示因为我们不希望聊天机器人回答它们。
至于相关但非意图的提示这些属于我们的聊天机器人的权限范围但不符合我们的意图类别。 这些提示应通过聊天机器人架构的其余部分发送以便通过 RAG 进行答复。 根据这些新类别我们将原始意图集称为“范围内”意图。
3、针对更大的意图类别进行调整
随着类别的增加意图分类的准确性下降了。 此外还提出了超出准确性的考虑因素。 现在我们需要将不准确的分类分成几个不同的类别每个类别都有自己的一组后果。 最重要的是对训练集大小的考虑变得很重要。 更大的训练集可确保更多地覆盖每个意图、相关提示和非答案提示。
当然完全覆盖是不可能的并且增加训练集的规模会带来收益递减。 除了生成更多示例的成本和时间之外增加用于检查用户提示的提示数量也会增加意图分类器的延迟和成本这是我们想要改进的两个关键痛点。
4、基于启发式的系统增强了信心
在使用这组更加多样化的类别测试 KNN 时我们发现在某些情况下适合一个范围内意图的提示被错误地分类为另一个范围内意图或者相关提示被分类为范围内意图。 还有一些非回答提示被归类为相关提示。 我们解决这些问题的方法是通过两种启发式方法修改分类器。
第一个启发式是模型对给定意图的预测的信心。 如果 KNN 预测提示与我们范围内的意图之一匹配我们将计算 k 个最近邻与预测意图标签的余弦相似度之和。 这种方法试图测量提示与嵌入空间中预测意图的“接近度”。 如果确定提示足够接近即启发式值超过某个预定阈值意图分类器将返回 KNN 的预测。 否则预测将被忽略提示将触发 RAG。
请注意将其中一些发送到 RAG 会降低范围内意图被正确分类的百分比。 但它也减少了被错误分类为范围内意图的提示的百分比以及被错误分类为错误范围内意图的范围内意图的数量。
第二个启发式衡量模型对提示是非答案提示的置信度。 类似地该启发式等于标记为非答案提示的 k 个最近邻居的余弦相似度之和。 如果此启发式高于某个阈值则提示被归类为无答案并且聊天机器人将返回预定响应拒绝与用户的提示互动。
这种启发式方法并不需要一定程度的置信度来拒绝提示。 相反它会拒绝任何会引起一定程度的确信它是非答案提示的提示。
5、仔细观察启发式的影响
下图中的彩色标签仅基于 KNN (k5) 预测未考虑阈值。 该图演示了阈值的用途。 例如粉色和橙色点都是根据 KNN 错误映射到范围内意图的提示。 但如果我们合并显示的阈值所有这些点都将被发送到 RAG而不是返回错误的确定性响应。 阈值左侧的蓝点是正确分类的意图它们也会发送到 RAG但这只是我们对阈值所做的权衡。 我们还可以看到我们的意图分类器会拒绝略高于拒绝阈值的紫色点这将阻止我们的机器人回答这些不需要的提示。
6、精确率-召回率曲线帮助我们优化权衡
平衡上面讨论的权衡对于确定这些启发法的阈值或是否完全使用不同的阈值至关重要。 从最大化准确性的角度思考可能不是最好的方法。 向 RAG 发送真实的意图提示无论如何它都可能收到足够的响应以及对实际上并未引发该响应的提示给出预先设定的响应会产生不同的后果。
此外将范围内的提示分类为越狱尝试并拒绝回答与由于意图分类器错过了而通过系统的其余部分发送越狱提示相比会产生不同的后果。 通过精确率-召回率曲线可以最好地理解这些权衡。 该图是精确召回曲线的示例。 每个点对应于范围内意图启发式的特定阈值。 这演示了如何降低阈值以增加发现的真实范围内意图的百分比同时也会降低分类为正确的提示的百分比。
准确率也称为真阳性率 (TPR)是正确分类的所有真实意图或越狱/超出范围提示的百分比。 召回率是被分类为意图或越狱/超出范围的所有提示中被正确分类的百分比。 这些需要单独查看意图和越狱/超出范围因为它们依赖于不同的启发式。
在每种情况下增加阈值都会导致更少的提示被分类为意图或越狱/超出范围。 此过程将导致精度降低因为由于阈值较低更真实的意图提示或真正的越狱/范围外提示将不会被分类。
然而增加阈值也可能会增加分类器的召回率。 在意图阈值的情况下需要更高的置信度才能将提示分类为意图。 因此分类为意图的提示应该更准确这就是召回率所衡量的。
转向越狱/超出范围阈值的情况增加它将导致更高的置信度阈值以自动将提示分类为越狱/超出范围提示。 从理论上讲这应该会减少错误分类的提示数量。
7、寻找正确的AI解决方案需要一个团队
尽管生成式人工智能仅在过去一年就取得了巨大进步但依赖生成式人工智能的聊天机器人仍然存在不可预测的因素。 如果你的对话式人工智能助手必须以敏感或精确的公司批准的方式处理一组特定的用户意图那么部分意图分类是一个值得考虑的强大工具。 原文链接部分意图分类 - BimAnt
