成都网站托管外包,常州建设网站代理商,管理咨询公司有用吗,网站标题和描述优化本文将从AI Agent和大模型的发展背景切入#xff0c;结合51Talk、哈啰出行以及B站三个各具特色的行业案例#xff0c;带你一窥事件驱动架构、RAG技术、人机协作流程#xff0c;以及一整套行之有效的实操方法。具体包含内容有#xff1a;51Talk如何让智能客服“主动进攻”结合51Talk、哈啰出行以及B站三个各具特色的行业案例带你一窥事件驱动架构、RAG技术、人机协作流程以及一整套行之有效的实操方法。具体包含内容有51Talk如何让智能客服“主动进攻”带来约课率、出席率双提升哈啰出行如何由Copilot模式升级为Agent模式并应用到客服、营销策略生成等多个业务场景B站又是如何借力大模型与RAG方法引爆了平台的高效内容检索和强互动用户体验。 AI Agent是什么
AI Agent与大模型的行业应用
1. 大模型与AI Agent
大模型能够适应不同的任务通过少样本甚至零样本的方式产生优质回答或内容。无论是GPT-4o、ChatGLM、Llama系列还是Qwen与国内各大厂自研的通用模型在大规模参数的加持下其对人类语言的理解与推理已开始逼近甚至局部超越人类水准。
然而大模型并不等同于商业成功要在复杂业务中落地还需要一整套Agent模式来驱动。所谓AI Agent往往指在大模型之上封装的高层业务逻辑与工具交互组件让“被动回答”的语言模型摇身一变成为“主动执行”的智能体。很多时候Agent需要调用外部函数Function Calling、与检索组件RAG交互、执行特定的业务流程才能真正将大模型的潜力释放出来。 传统智能客服 vs. RAG⼤模型智能客服
从业务视角看目前AI Agent与大模型的应用有以下几个鲜明趋势
RAG与知识检索 通过RAG技术将外部知识库与大模型结合减少模型“幻觉”增强回答的准确性和可追溯性
RAG⼤模型智能客服框架
多轮对话与人机协作 Agent不再仅是问答而是能根据上下文自主规划后续对话并可在必要时引入人工坐席或其他系统协同事件驱动与主动触达 智能体不仅被动响应用户问题还能根据业务事件比如流量异常、用户拖单、订单纠纷进行主动沟通或任务执行CoT、ReAct等推理范式 通过Chain-of-Thought、ReAct等技术引导语言模型在回答前进行多步推理、分析与调用外部API的动作极大提升了可解释性与执行力。
2. 三个行业案例
在线教育51Talk 在线教育行业竞争激烈用户付费转化、课程出席率以及学习全流程服务体验尤为关键。51Talk搭建了智能客服体系借助事件驱动、RAG模型和人机协作成功提升了预约率和出席率。这背后究竟是如何实现的
51 Talk的智能客服落地曲折与困难
出行服务哈啰出行 哈啰出行在国内骑行、打车、顺风车、租车等业务上积累了大量用户与数据。随着业务增长对用户服务的智能化需求也愈加丰富。他们从Copilot模式辅助运营、辅助研发进阶到Agent模式执行业务流程、自动生成营销策略。其技术架构、模型选型、业务场景应用的挑战和思路是怎样的
哈啰AI场景
内容平台B站 B站作为年轻人的潮流文化聚集地也在客服、内容检索、UP主创作协同等场景积极探索RAG与强化模型结合的模式。他们基于大模型的RAG检索将非结构化海量内容转换为高效的知识库并通过“领域化”微调来保证回答安全可控。他们在“知识构建、检索效率、回答准确性”方面有哪些经验可以借鉴
B站领域知识库的构建
行业案例深度分析
A. 在线教育案例51Talk的智能客服与事件驱动落地
1. 业务背景与需求
对于在线教育平台而言客服质量直接关系到用户留存和续费率。51Talk在全球范围内开展在线外教课程海外业务量增长迅猛但客服和销售人数有限无法做到24小时高水平在线。传统的“人工一对多”客服模式常常出现响应滞后、人力成本高等问题。
核心业务指标预约率、出席率。面临挑战用户需求复杂多变客服配比不足无差别回复无法满足学员的多样化场景需求。
2. 传统方案局限与大模型切入
最早51Talk采用过传统QABot与TaskBot方式
QABot 基于FAQ的检索式答疑但只能被动回答TaskBotSOP针对课程预约、退费咨询等常见流程配置流程图节点但僵化易出现沟通断层。
然而由于学生与家长的需求多种多样、对课程内容及价格的灵活沟通要求较高传统方案容易“卡壳”。此时大模型及RAG技术的出现为客服提供了新的思路。
3. 事件驱动与Agent模式的关键设计
1主动沟通机制
与许多客服只在用户发起提问时提供回答的被动模式不同51Talk的AI客服会根据用户在平台上的关键事件如刚注册成功、快开课却未登录、没有按时提交作业等主动出击发送提示或问候引导用户进行下一步操作。 智能触达服务系统
事件来源后端的教学系统、IM系统、学习行为日志触发逻辑在DAG编排的流程中定义多种节点若某条件满足就主动向用户推送信息并等待回复。
基于DAG的流程编排
2RAG应用
在用户咨询如“如何复习”、“课前准备”或课程细节时AI客服可调用后端知识库进行RAG并将结果拼接到Prompt中让LLM在回答时有更丰富的上下文支撑。
知识库包含历史人工会话记录、课程FAQ、运营文档向量检索采用Milvus或其他向量库来匹配相似问题与答案减少“幻觉”回答。
3人机协作
当系统信心不足或监控到用户可能情绪不满通过文本或语音情绪识别时AI客服会自动邀请人工客服介入。同时AI客服为人工客服提供了“话术推荐”功能显著降低了人工回答的时间成本使得人机协作效率达到最大化。
4. 技术架构与数据指标
在51Talk的方案中“事件驱动感知器”是一个核心组件 构建基于事件驱动的用户行为感知器
感知器实时监听用户行为事件注册登录、购买课程、上课出勤、作业提交等与智能客服主流程做联动
基于事件驱动的用户行为感知器
智能客服主流程采用LangChain或Semantic Kernel等多种方式进行CoT / ReAct式推理RAG检索在Prompt中嵌入外部知识提升答案准确率并降低幻觉监控与反馈通过用户对话评价、人工客服的质检数据进行持续优化。 上线后51Talk在某些核心业务场景下的“用户次日留存”与“课程预约率”得到明显提升在客服环节平均响应时长缩短了30%以上人工成本也降低了20%-30%。
B. 出行服务案例哈啰出行从Copilot到Agent的进阶之路
1. 业务发展阶段与AI需求
哈啰出行覆盖范围广包括共享单车、打车、顺风车、租车、两轮换电等背后有复杂的供需匹配与算法调度对客服和营销策略的需求也很高。早期他们主要使用类似“Copilot”的思路用大模型给研发、运营、设计团队提供辅助帮助他们提升效率。然而当业务进一步扩张需要更加自动化的流程执行时就必然要把大模型升级为Agent让它能“自主决策、主动行动”。 从GPT4-Turbo Demo - 自研Finetune
2. Copilot模式低门槛提升人效
在正式实现Agent前哈啰出行经历了一个以“人机协作”为主的Copilot阶段
研发CopilotcodeGPT 能够对哈啰内部代码做语义搜索、自动生成测试代码、辅助调试
研发CopilotcodeGPT
运营Copilot知识库/客服助手 给运营人员提供图文创意、活动策划建议也可在客服领域做话术推荐
运营Copilot
设计Copilot营销海报/短视频 运用Stable Diffusion/ControlNet等技术快速生成海报背景、文案缩短人工设计周期并提高产能。
设计Copilot
该阶段已显著降低了人工的重复性劳动但“大模型仅为工具”依然依赖人来驱动流程。
3. 从Copilot到Agent的转型
哈啰意识到如果能让模型自己调用业务API并根据用户输入、业务事件自动执行与回调就能实现更大的效率爆发。 哈啰Agent赋能业务
智能客服机器人 不仅做多轮对话还要能查询用户订单信息、发放优惠券等复杂操作
客服Agent对话机器人
营销策略生成AIGA 自动结合实时供需、库存、用户画像生成精准的营销动作如对某区域新客推送优惠券、针对老客发送激励短信等。
AIGAItem\Action\BidPrice\Strategy
在技术落地上哈啰出行开发了Agent编排组件结合自研大模型或开源模型ChatGLM、Qwen、Llama2等为每种业务场景定制Prompt与调用工具(Function Calling)。关键要点包括
对模型进行Finetune 针对客服、营销的语料进行监督微调提升模型对哈啰业务语义的理解RAG增强 对广义的业务知识库包括订单信息、地理位置、用户历史、城市网格数据进行检索多模态融合 对骑行地图、轨迹日志、图像核查等进行解析Agent可自动调用视觉模型或NLP模型做判断。
Jarvis-大模型平台
4. 模型选型与挑战
哈啰在实践中试用了多种基础模型
ChatGLM2显存占用小可单卡微调Qwen-7B/14B/72B阿里系模型在中文理解方面不错但需量化加速Llama2国际社区活跃度高但中文语义仍需本地适配。
在正式部署Agent后哈啰出行的客服机器人在对话解析准确率方面有了大幅增长而营销AIGC也实现了千人千面的活动策划与文案生成大幅度缩短了运营周期。
C. 内容平台案例B站的RAG技术实践
1. 从“传统智能客服”到“大模型智能客服”转变
B站作为年轻人的聚集地有大量的用户咨询需求但很多问题并非简单FAQ能解决。例如UP主相关规则、番剧版权、稿件审核、活动投稿流程等都涉及非结构化的政策说明和历史运营记录。
传统客服需要对每个任务、功能单独设计并维护模型RAG大模型客服在统一框架下用RAG来检索相关的海量文档再结合大模型组织答案。
2. B站线上智能客服的拦截率对比
据其内部测算使用RAG大模型后的客服“拦截率”即无需人工介入的成功回答比例显著提升。官方给出的对比数据显示RAG组比基线组提升了不少有些业务场景达到20%以上的提升。
3. RAG大模型客服框架
B站把整个客服系统分为三个关键模块
领域知识库构建 从业务知识、历史人工会话、FAQ等多来源采集进行结构化或半结构化处理高效检索知识 包括query改写Re-writing、Step-back、Sub-query拆分与检索重排q-q搜索、q-a match等
如何高效检索知识
准确回答与安全落地 利用通用大模型 prompt工程 或基于RAG进行微调。在实际落地中B站更倾向微调RAG模型因为可以更好地控制幻觉并提供拒答能力。
如何准确回答安全落地
4. 长文本与长尾问题
B站在应对长尾问题上还尝试了“扩大上下文窗口”的方法把大量的弱相关知识一并提供给模型让用户可多轮交互来澄清问题。但这也带来了延迟和成本的上升。因此他们也在探索精细化的检索策略。 RAG和⻓⽂本如何协同
5. 技术架构与未来展望 B站的客服系统未来会进一步融合多模态比如识别截图、检索视频内容中的时间点等让Agent的对话能力更具沉浸感。他们在研究通过Agent交互来调度不同模型在社区内容管理、版权巡查、用户引导等领域取得更多突破。
关键技术对比与实践经验
1. 大模型基础技术LLM、ChatGLM、Qwen等
在51Talk、哈啰出行、B站三家案例中大模型均扮演了核心角色但其选择与微调策略略有不同。
51Talk更看重在对话层面对大模型进行针对性Finetune旨在提高客服场景的专业性和回答准确率哈啰出行因涉及多业务形态需要支持客服、营销文案、语音交互、地理调度等多场景故更倾向一个综合性大模型平台并通过API Agent的方式实现落地B站有深厚的技术研发能力自研模型bilibili index并进行RAG微调追求对自己领域内容的强掌控与安全审计。
2. RAG、CoT、ReAct等增强方法
RAG 三家企业都有RAG的落地51Talk在课程知识库检索哈啰出行调用业务数据库或地理信息B站针对海量视频、政策文档做RAG。这是解决大模型“幻觉”与业务知识不足的通用利器。CoT 引导大模型在回答前列出推理过程便于后续可解释性与错误追踪。ReAct 让模型在推理过程中随时进行动作调用比如调用Function进行数据库查询、调第三方API等。对Agent模式十分关键。51Talk利用ReAct来在对话中实时获取用户上课记录哈啰与B站则在多模态处理和客服多轮交互中多次调用外部工具。
3. 人机协作与用户体验优化
51Talk在用户情绪识别或高难度场景下AI客服会请求人工协助并提供可能的话术推荐哈啰从Copilot开始就强调团队提效Agent出现后也保留了人工兜底机制B站RAG客服具备较高拦截率但仍需人工做定期质检与监控保证平台调性。
行业应用启示
1. 多智能体协作与长尾问题解决
随着多Agent框架与工具链的不断成熟如LangChain Agents、Semantic Kernel、MiniMax等一台机器便能模拟多个智能体在系统内共存、共享记忆、协同工作。类似于“斯坦福小镇”里的25个虚拟居民企业可以在复杂场景下让客服Agent、营销Agent、策略Agent等彼此对话并相互协同。对在线教育的场景而言多个Agent可分别负责课前准备、课中陪练、课后复盘等节点真正实现教学流程闭环对出行领域可以把调度Agent、支付Agent、客户服务Agent集成在一起实现自动化管理对内容平台可让审核Agent、推荐Agent、活动Agent共同维持社区生态。
2. 多模态增强
未来AI Agent将不止处理文本而是可随时调用图像、音频、视频等多模态分析模块。想象一个场景B站用户上传一段新视频时Agent能读取视频元数据、识别画面内容与用户对话核实版权然后给出剪辑或配文建议。在线教育领域如果能对学生的语音朗读做实时纠错与发音优化对教学的辅助价值就更大了。
3. 行业案例的通用价值
51Talk的事件驱动与RAG客服设计对于其他在线教育平台或需要提升转化率的行业来说具有普遍借鉴意义哈啰出行的“Copilot - Agent”演变为拥有丰富业务链条的大中型企业提供了参考B站对大模型安全与RAG知识检索的高标准体现了内容平台在用户体验与内容合规上的创新点。这些不同领域的实践都证明了一个事实只有与具体业务场景深度融合AI Agent和大模型的价值才能真正落地。
实践与技术细节
1. 51Talk主要技术方案
主动沟通机制 通过事件感知器延迟消息调度基于DAG来触发AI客服主动与用户对话RAG检索 使用向量检索如Milvus结合关键词检索给大模型提供充分的课程资料人机协作 与人工无缝配合尤其是用户情绪识别和纠纷场景下数据效果 预约率、出席率显著增长客服平均响应时间缩短30%人工成本减少20%-30%。
2. 哈啰出行的Agent模式与AIGC营销
Copilot模式 RD助手、BI助手、设计助手等使内部团队迅速提效Agent模式 让客服机器人能调API查看订单、管理优惠券让营销Agent能自动生成触达策略和执行动作多模型选型 ChatGLM、Qwen、Llama2等开源或自研模型并行评测使用量化或多卡加速技术挑战与对策 幻觉问题、实时数据对接、语音识别与地理信息处理的多模态融合。
3. B站的RAG架构、知识检索与微调
知识库构建 将业务知识、历史人工对话、FAQ等进行筛选、分块、向量化存储query改写技术 包括Re-writing、Step-back、Sub-query切分RAG微调 在原大模型基础上进行监督微调、加入思维链CoT和函数调用ReAct显著降低幻觉并提高回答整合度业务指标 智能客服拦截率提升20%在答案准确度、拒答能力、用户满意度上均有明显改善。
4. 数据与成效
哈啰出行的数据 效率提升、订单纠纷判责正确率、客服采纳率等都有显著提高B站的客服拦截率 由传统基线上升20%左右51Talk的预约率和出席率 提升幅度在10%-20%之间。
5. 实际代码或框架应用
LangChain 提供了多种Agent模式、工具调用管理Semantic Kernel 微软推出的多语言SDK可使用Stepwise Plan等方式编排ReAct流程开源模型部署 ChatGLM2、Qwen、Llama2多平台对比实践向量数据库 Milvus、PGVector等在检索场景中的应用。
6. 横向对比与差异化亮点
相似技术 大模型RAG、多轮对话、Agent Function调用是三大案例的共同点差异化亮点 51Talk重点解决用户管理和主动触达哈啰关注业务流程自动化和营销策略生成B站核心发力RAG检索和客服多轮对话关注安全落地、长尾问题、长文本场景。
技术驱动业务突破业务需求反哺技术迭代
“人机交互”正在向“多智能体协作”加速演变相应的工具与方法RAG、CoT、ReAct、多模态增强、微调、事件驱动等正在不断完善。在下一阶段更多企业将基于多智能体的协作框架让一系列Agent同时管理客服、营销、运营、审计、推荐等模块甚至让Agent之间互相“交谈”从而形成一个更宏大、更逼近人类社会形态的自治系统。只有与业务场景深度绑定AI才能真正焕发生命力。51Talk、哈啰出行、B站三个鲜活案例反映了目前国内互联网企业在事件驱动客服、RAG知识增强、多模态应用、人机协作和Agent自动化执行等多层次技术的应用实践。我们看到不同业务场景如何在大模型时代迭代自我利用AI加速业务增长、提升用户满意度、降低整体成本。
51Talk在客服体系中将“主动沟通”与“事件驱动”发挥到极致既提升了用户的课程预约与出席率也保证了多轮对话的流畅度哈啰出行在多业务形态下逐步从Copilot进化为Agent模式让AI不再只是辅助而是能实打实地执行业务任务包括客服查询、营销策略生成等B站则通过领域RAG技术和强化模型最大化利用自身庞大的内容资产改善智能客服的精准度、拦截率以及用户体验。
在技术层面三者都体现了大模型RAG的组合思路并在应用场景中引入CoT、ReAct等模型推理增强机制辅以Function Calling和多模态组件使Agent对业务需求做到又快又准。以后我们应该可以期待多Agent协作、长尾问题精细化处理、多模态融合图文音视频、强化学习与自适应进化等更深入、更全面的技术落地。
很多企业也许不具备BAT或大厂那样的算力与资源但是可以在具体业务环节挖掘“智能化”切入点打造强大的AI中台架构让Agent真正为一线业务服务。当AI逐步渗透到各行各业最核心的“人货场”与“用户交互”环节时我们每个人都将见证一场翻天覆地的智能浪潮。
专家招募
TsingtaoAI面向全球范围的LLM大模型、具身智能、AI机器人、智算、AIGC、数据科学、金融科技、5G、信创、智能制造、智慧能源等领域招募专家讲师有多种方式合作合作方式灵活收益丰厚。欢迎感兴趣的专家与我们联系。
