5条国内最新新闻,seo教育,wordpress自定义模板下载,vps上创建网站大语言模型#xff08;LLM#xff09;具有令人印象深刻的自然语言理解和生成能力#xff0c; 2022年11月底OpenAI发布了ChatGPT#xff0c;一跃成为人工智能AI领域的现象级应用。但由于LLM的训练数据集主要来源于互联网数据#xff0c;企业私域信息并未被LLM所训练#x…大语言模型LLM具有令人印象深刻的自然语言理解和生成能力 2022年11月底OpenAI发布了ChatGPT一跃成为人工智能AI领域的现象级应用。但由于LLM的训练数据集主要来源于互联网数据企业私域信息并未被LLM所训练当客户查询关于企业的业务信息的时候LLM会出现幻觉无法进行正确回应。因此企业界尤其是中小型企业具有强烈的愿望能够打通企业数据和LLM的互联网数据构建企业专属GPT利用LLM的能力服务企业目标客户。 在企业中GPT 构造器的角色通常面向以下几个方面职责。 数据收集与处理负责收集和整理大量的文本数据这些数据将用于训练 GPT 模型。本文中主要的数据来自于FAQ文档和网页。 模型训练使用收集到的数据对 GPT 模型进行训练这可能涉及到选择合适的模型架构、超参数调整、训练过程的监控和优化等。在使用向量表示的时候会对文档通过数据工程进行分块并进行向量化。 模型评估与优化在模型训练完成后需要评估模型的准确定和性能并根据评估结果对模型进行优化和调整并进行RLHF。 应用集成将训练好的 GPT 模型集成到企业的产品或服务中例如用于构建聊天机器人、消息通道、文本生成工具、语言理解系统等。 模型迭代随着技术的发展和业务需求的变化负责对 GPT 模型进行迭代更新以保持其在企业应用中的有效性和竞争力同时会对其问答知识进行训练确保业务的持续更新。 知识管理负责管理 GPT 模型训练和使用过程中产生的知识确保知识的合规性和安全性。 企业GPT构造器的总体架构 企业GPT构造器的具体角色和职责可能会根据企业的规模、业务需求和资源配备而有所不同。在一些企业中这些任务可能由专门的AI团队承担而在其他企业中可能由数据科学家或软件工程师负责。在这当中企业GPT构造器的IT基础形态各异。本文介绍一款基于多租户架构的企业GPT构造器其总体设计思路如下图所示。 企业租户管理员作为信息生产者负责企业GPT的喂养工作。企业业务部门如销售部、市场部等作为信息消费者使用企业GPT服务为客户提供服务。系统主要分为企业GPT的喂养和服务两部分接下来以这两点结合笔者的实战进行介绍。 企业GPT构造器喂养 在企业GPT喂养工作中租户管理员负责输入企业官网及其他相关网站系统通过抓取技术进行文本采集支持上传对应的文档通过表单识别进行文本采集并支持问题/答案的直接输入。这些喂养的网页和文档将进行分块和向量化处理以向量的方式存储于向量数据库中。 01 企业官网抓取 官网作为租户尤其是中小型企业最重要的权威信息发布渠道跟企业业务紧密结合。因此企业GPT构建器采用网站抓取技术能够提取官网多级目录并列出目录由租户决定喂养哪些URL的信息。 虽然企业官网网页数据结构化不强但是对于中小型企业来说不需要进行手动处理即可作为喂养素材整体上是一种比较经济的处理方式。 02 企业文档加载 企业文档包括了行业规范、洞见及趋势企业产品/服务功能描述、非功能描述、特性和优势、操作手册、交付方式、商业合作模式、应用范围、主要应用案例等这些企业文档能够帮助客户了解企业相关业务。 系统支持word、pdf、ppt、markdown及txt等文件。文档相对网页更加结构化更加能够聚合信息对于规模稍大的企业来说文档资源也比较丰富应该算比网页更加优质的素材。为了提升喂养文档质量文档尽量做到主题明确、描述清晰内聚地表达业务内容。尽量避免在一些多级标题的场景下小标题会被切分成单独的chunk与正文分割开。 03 问题/答复对输入 企业问题/答复FAQ对可以进行输入并作为单独的向量存放在向量数据库中。 作为最优质的企业信息问题/答复对向量将更加容易被向量检索到能够在答复客户时作为第一优先级答案。 04 企业GPT喂养流程 基于中小型企业的特点企业GPT构造器喂养流程分为 // 预处理针对企业文档对于部分图片方式的文档需要使用 OCR 功能进行预先识别并对文档进行边界框中文本的位置、文本内容、表、选择标记也称为复选框或单选按钮和文档结构分析。 // 格式化经过预处理的文本将进行格式化格式化的步骤如下 STEP1. 将html富文本或markdown的知识统一处理为纯文本格式 STEP2. 构建标题树在富文本场景下通过构建内容标题树的方式来优化chunk比如把chunk按照“#大标题-中标题-小标题#:内容”的方式构建。 检索时额外检索同一标题树下的chunk随后做拼接。如果一次构建的知识块过长则将此知识块文本按照400-500个token长度并在其后根据标点符号和换行符等来切分段落来切分。 // 向量化通过大数据模型LLM的向量化Embedding接口对经过格式化的文本分块进行处理以OpenAI的Embedding接口为例其对格式化后的文本进行向量化本文案例选择的是text-embedding-ada-002模型。 // 向量存储将向量化后的企业知识存入到向量数据库中包含了来源ID、类型、分块向量、原始文本内容等并进行多租户数据隔离。 企业GPT喂养流程 企业GPT构造器服务 企业通过使用 GPT模型来获得多种自然语言处理NLP服务这些服务可以帮助企业提高效率、改善客户体验、提供7*24小时服务等。以下简要介绍企业可以通过 GPT 获得的部分服务。 01 消息公众号设计 在企业信息向量化存储之后还需要对企业交互式消息公众号进行设计我们可以配置chatbot的头像logo名称服务介绍服务电话主页服务邮箱等信息。 02 Prompt设计
同时我们需要对企业GPT机器人做角色定义。设置AI创造力因子Temperature来确定AI答复的确定性或者创造性。并应用提示工程对其角色进行清晰明确的描述以便AI模型理解我们的需求提示工程通常有三个主要元素组成任务、指令、角色可以通过调整Temperature参数来控制生成文本的多样性较高值会导致更加随机和多样化的文本生成而较低值则会导致更加保守和确定性的文本生成。并通过少样本示例实现企业希望扮演的角色目标下图是一个Prompt的设计例子。 企业GPT Prompt设置 03 服务流程
通过交互式消息企业GPT可以对外提供消息服务其提供服务的流程如下图所示。 企业GPT通过交互式消息为客户提供服务 企业的目标客户通过交互式消息或者Web插件访问企业GPT步骤如下 Step1根据设定的业务场景预配置交互流程及企业角色提示工程如市场营销、客户服务、办公助手等企业客户访问企业GPT。 Step2企业GPT通过构造LLM对客户问题文本进行向量化。 Step3使用向量搜索在向量数据库中搜索离客户问题向量最相似的Top KK可以设置文本内容并返回判断的标准为问题向量和喂养分块向量之间的距离向量之间的欧氏距离或者余弦距离。 Step4企业GPT判断Top K向量同客户问题向量的相似度。 Step5将匹配度得分N分N可以配置的相关设置的Prompt、文本内容、当前及会话历史问答统一送到会话LLM会话LLM根据这些信息进行组织推理。在某些场景下需要做上下文回溯虽然能够准确地检索内容但是这部分内容并不全检索时额外检索最相关chunk的相邻chunk随后做拼接。 Step6组装好的答案和参考文档信息通过交互式消息返回客户端。 04 服务展示
系统本身支持多种交互式消息下图是多种交互式消息的展示例子。 05 训练和增强
在实际项目执行过程中部分面向客户的答复需要严谨因此对机器人的答复进行训练和增强。 多种交互式消息通道的企业GPT展示 用户问题与回复的答案将会自动被填入文本框内。可以进行编辑并以“QA”的格式训练至知识库内。可以选择训练至一个已有的“QA”知识文档内也可以创建一个新的“QA”知识文档来储存本次训练的知识。 企业GPT构造器应用场景 企业GPT在构造之后可以通过交互式消息通道或者Web插件为企业的各个部门客户提供服务且不限于下列场景例子。 Scene1. 品牌营销
配合交互式消息的主动触达功能可以向客户发送促销信息通过企业GPT能够为客户解答促销信息的内容也可以自动答复企业官网/社媒账号引导客户直接访问购买也可以为客户提供政策咨询服务。 品牌营销场景 Scene2. 客户服务
可以通过交互式消息发送客户物流信息待客户接收商品之后在喂养相关商品的产品使用手册周客户可以通过企业GPT客户可以咨询企业人工座席工作时间企业GPT能够告诉客户如何使用商品帮助客户排除商品的使用故障等。 客户服务场景 Scene3. 助手服务
在喂养了企业的财务、人事等相关政策文档后企业员工可以不用阅读繁琐的各类文档通过企业GPT以对话的方式咨询财务系统发票问题人事政策问题等内容大大提升新员工培训效率及员工获得感。 企业助手场景 助手服务还可以广泛应用于企业业务支撑如对销售人员的专业知识支持运维人员的设备知识支持等。 实战应用案例 浩鲸科技企业GPT构造器能够快速地帮助企业构建自己的GPT目前已成功实战了HETU产品线hetuGPT、NuriGPT、MRGPT以及wctGPT。 其中印尼N电商是一家通过互利联盟营销社区为品牌所有者、经销商、有影响力者和消费者提供创新和全新在线购物体验的技术公司。作为一家电商其经营的电子产品种类繁多客服人员无法对所有电子产品的参数、操作方式了如指掌因而常常在答复客户询问产品的时候需要打开大量的文档进行查询 NuriGPT有效地解决了这个痛点N电商客服团队负责人Arnold说
“HETU 企业GPT帮助N电商构建了企业级NuriGPT来支持电商业务知识喂养的方式很方便只需要上传文档客服人员就可以快速的从各种电子产品文档中检索出产品参数、操作方式、常见故障解决方法其ChatGPT的自然语言交互体验非常好并自动支持多语言的转换帮助客服人员快速解决客户的问题大大降低客服人员的工作负载。”
