做美食有哪些网站,本地wordpress 上传,网站社区的建设,一个app软件本文分享自时习知
作者#xff1a;袁泉#xff08;华为AI数据工程专家#xff09;全文约3015字#xff0c;阅读约需8分钟 大模型应用正式投入使用后#xff0c;存在一个较为普遍的情况#xff1a;在利用“大模型提升业务运营效率”的过程中#xff0c;业务部门和IT团队…本文分享自时习知
作者袁泉华为AI数据工程专家全文约3015字阅读约需8分钟 大模型应用正式投入使用后存在一个较为普遍的情况在利用“大模型提升业务运营效率”的过程中业务部门和IT团队在初期通常都充满热情对成果的期待也很高。一旦冷启动完成应用如期上线则皆大欢喜庆祝新特性上线宣传造势。
在组织和热情的惯性下大模型应用效果通常有一定的爬坡这是“前程发力的快周期”。但随后就会逐渐或快速面临准确率、满意度双双下滑的局面有些从此就跌入低谷再也没起来而有些则是震荡式的一直妄图阶段性冲高结果却不尽如意很难维持在上线初期的那个水平这是“后程乏力的慢周期”。有点像中国的股市快起快落牛短熊长。
面对这样情况下的大模型应用该如何进行优化呢今天我想和大家聊聊“反馈热循环”机制这件事。反馈热循环是一种持续的循环过程不断地提供内容获取AI的反馈根据反馈调整和优化内容并再次进行反馈。这样的循环往复为AI提供持续且高质量的数据和知识。
01 什么是反馈? 谈到反馈我们先明白其定义。中文对反馈的解读是在对信息的有效接收和正确理解的基础上及时予以回应并形成良性循环。而反馈的英文解读则是Feedback Feeding(数据) Understanding(信息) Backing(执行) 。
最近我在读《反馈化解不确定性的数字认知论》其中有那么一段话讲得挺好。“反馈本身没有意义以不同的方式更高效地转化和利用反馈中隐藏的信息才使反馈有了意义。” 02 业界有哪些不错的反馈循环设计思路
2.1 Midjourney: 反馈不够设计来凑。
在没有任何利益的驱动下是没有人愿意反馈的这显然是违背人性的。因此Midjourney通过生成图片下面的Favourite代表喜欢和收藏这种相对巧妙的设计让用户在与应用进行交互的过程中不知不觉地把反馈的事情给干了。 2.2 从GPT3.5到GPT4 根据环境反馈迭代改进的智能循环体是产品断代式演进的关键。
相较于GPT3.5GPT4的整体表现是现象级的。在短短几个月的时间实现了模型能力的大幅提升。在面向全世界上亿用户的尝鲜式公测GPT4设计智能循环体code model代码模型、feedback model反馈模型、repair model修复模型以根据环境反馈不断迭代改进模型能力起到了不小的作用。英伟达科学家Jim Fan直呼“Critique is all you need。” 2.3 互联网企业与传统企业在反馈机制上各有优劣。
整体来说互联网企业和传统企业在AI反馈应用上各有优劣。 互联网企业应用由于庞大的用户群体和天然的利益驱动在如何快速搜集反馈数据上优势明显同时在面对反馈的效果推荐、检索、生成方案上用户的包容性更强些但在反馈信息如何更好地闭环传统企业应用面向的用户群范围相对固定流程相对清晰和责任主体比较明确更容易聚焦TOP问题同时用户对反馈效果是否符合预期相对更苛责。
03 目前各领域应用AI在反馈机制上存在什么问题 结合各领域应用AI的调研结果无论是在“智能搜索问题”场景还是在“方案生成推荐”场景各领域在反馈内容应该分成哪些类如何分类反馈的信息是否足够完整上都在摸着石头过河。 有细分到【业务问题】【应用问题】【平台问题】的也有笼统的【好】【不好】【没有帮助】等。
总的来说各领域应用AI在对反馈数据分哪几类分到哪个粒度按照什么层级来分等缺少方法和统一的标准。反馈信息不完整不足以支撑下一步的问题理解。 04 AI反馈的几种模式及特点
初步调研完各领域AI应用当前的场景和所采取的反馈机制后我就在想有没有可能在业务含流程、应用、数据等反馈上找到共性从而提炼出几类模式。然后基于几类模式来做好解决方案设计。这样领域应用可以照方抓药找到适合自己的模式和方法同时围绕几个典型场景吃透几类模式进而沉淀平台公共能力以便后续更好地被复用。
经过提炼个人认为以为3类模式基本上可以覆盖企业的绝大部分场景。
“标注”即反馈或者称之为“上报”即反馈。这里指的是领域通过运营人员、AI数据工程专家在进行例行的问题分析和标注通常按周/月方式一般为线下EXCEL或者应用自身构建的运营分析模块基于分析后的结果需要将相关信息如优化后的AI数据集、意图判断、问题正确的回答传递给AI数字产线从而进入下一轮的迭代。以某产品为例有众多的用户在使用其AI搜索推荐等功能我们可以让AI标注工程师对用户的问答结果问题等分类再把相关信息上报给AI数字产线进行下一轮优化这种标注即反馈。
这种反馈模式下Feeding数据和Understanding信息都是业务offline处理好了对于平台来说关键在于做好对接和Backing执行。
“作业”即反馈。AI基于业务活动中的上下文信息如单据结合历史的知识经验等input生成其推荐的方案output。业务人员在操作过程中结合实际情况以及自身知识储备所采取的完全采纳部分采纳、弃用、补充等策略在系统提交后流入到下一作业环节。以“方案生成与推荐”的招聘场景为例HR输入各种招聘需求AI推送相关岗位给候选人基于候选人【刷一刷】、【浏览】、【简历筛选意见】、【直接投递】等动作给予结果反馈。
这种反馈模式下Feeding数据的挑战是如何在应用侧做好数据定义Understanding信息的关键在于应用的交互设计。
“行为”即反馈。这一类应用的特点是业务受众面较广没有特别强的领域属性偏集团公共类。该类AI应用通常需要业务给出明确的信息作为输入且业务的提问通常不容易收敛长尾效应明显。这种反馈模式下关键在于如何基于用户的行为分析其意图以及判断实际达成情况最大的挑战在于用户行为的感知和分析。
以“企业通用搜索”为例用户的连续相似问行为xxx产品经理是谁--xxx产品经理--xxx产品经理负责人--谁负责xxx--xxx谁负责用户对AI反馈结果的复制、粘贴、转发行为用户的转人工坐席或提交问题单等行为都是对于结果是否满意的一种隐性反馈……
以上各个反馈模式的特点下图已整理好。 05 从建好一个“应用 AI ”的视角看AI反馈结果的几条循环路径 反馈的最终结果是导向改进。好的方面要继续发扬光大不好的方面要有找到对应责任主体来制定相应的改进策略不断循环形成飞轮。
从如何建好一个“应用AI”的视角出发AI反馈结果可以按照以下4条路径由不同的组织负责优化也有可能一个问题需要同时从4个方面进行优化才能达到想要的效果。 06 不同AI反馈模式下的反馈MRC机器阅读理解模板设计
既然定义了几类反馈模式那必然是要有对应的反馈模板的。当前AI反馈存在的问题中“信息不完整”“语言不统一”具备一定的典型代表那么就需要有模板来指导和校验反馈的信息是否足够清晰、完整。下图是基于两个典型场景所提炼的反馈模板仅供参考。关于MRC的相关信息可见上期《华为大咖说》——华为大咖说丨什么是大模型“MRC”一文讲明白~ 07 反馈热循环的解决方案设计
将AI反馈循环所需要的业务能力分成3大段。
第1段是Feeding有效接收即反馈信号能被正确到的能力具体如数据采集有哪几种模式如何降噪如何获取环境信息等第2段是Understanding正确理解即已被接收的反馈信息如何被正确理解具体如Understanding分析中哪些是定性分析哪些是定界分析哪些是定位分析等第3段是Backing优化、循环即如何行动和验证改进的持续有效性具体如补充缺失知识、做好分片、结果评测等。
根据以上3大段的AI反馈循环所需要的业务能力结合对应的组织、流程即可设计一份反馈热循环的解决方案。 关于“应用AI”反馈热循环的思考今天我就分享到这里欢迎小伙伴在评论区互动交流。
