网站上线模板,管理系统平台,自建销售网站,欢迎访问中国建设银行网站密码重置本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。
更多大会演讲内容#xff0c;请访问#xff1a;
https://baiduworld.baidu.com 首先#xff0c;跟大家分享一张图#xff0c;这个是我们目前大模型应用落地的场景分布。可以看到#xff0c;大模型…本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。
更多大会演讲内容请访问
https://baiduworld.baidu.com 首先跟大家分享一张图这个是我们目前大模型应用落地的场景分布。可以看到大模型广泛渗透到各行各业场景越来越丰富。 24 年 9 月份我们发布了百度智能云千帆大模型平台 3.0。包括模型开发层、模型服务层、应用开发层。提供了最专业的应用开发工具、最丰富的大模型、最全面的工具链。 在企业大模型落地的过程中要解决很多的问题。最常见的有如何选择模型、如何构建 AI 原生应用、如何优化模型使用效果。我们给大家总结出了 3 大应用落地路径
模型推理模型应用效果优化包括提示词优化、模型精调、模型能力增强大模型应用开发。 首先讲模型推理。
在模型选择的过程中我们发现 3 个趋势
越来越追求效价比效果更好兼顾成本更低根据不同需求进行大小模型协同多模态模式协同工作
百度智能云千帆大模型平台提供丰富的模型选择有不同尺寸的大模型、精专垂类模型、以及传统多模态能力等。 第二个路径模型应用效果优化分为 3 个手段。最常见的就是提示词优化包含 Prompt 和 Few-shot 两种方式。 举个例子法律咨询场景我给大模型一个指令「你是一个律师请问经济合同纠纷案的解决流程是什么」。可以看到大模型给出了一个基础的解决流程的答案。
要上生产环境用大模型代替律师工作最简单就是通过提示词调优。
可以明显看到右边增加了人设、风格、指令约束。输出结果更像真人律师这就是提示词优化的作用。 提示词优化看似容易其实没有那么简单有很多的原则来适应模型和应用的需求。
为了进一步降低客户使用门槛我们今天发布 Prompt 模板。用户可以一键复制只要稍作改写大模型的输出效果就会更好。 提示词优化有效果天花板。
如果想进一步提升应用场景下模型能力第二招对模型进行模型训练也就是我们经常说的模型精调。精调可以使模型风格、行为和应用需求对齐有效提升模型效果。 千帆 ModelBuilder 提供的就是全流程的、模型训练和模型精调的工具链包含数据管理、训练模式、开发工具、评估优化、推理部署、大模型周边系统。 举个例子宁波传媒使用千帆 ModelBuilder 模型精调工具打造了一个小记者作文 AI 点评助手。通过视频来看下开发过程和应用效果。 今天基于我们平台越来越多的场景实践沉淀了一系列的模型精调样板间进一步降低模型调优门槛。
企业只需要跟随样板间的步骤一步一步设置模型训练的参数就可以训练出符合企业需求的场景化模型。 我们在千帆 ModelBuilder 工具链不断迭代的过程中又给大家提供了一个新的方法——模型蒸馏。
通过调用旗舰大模型产生的问答对经过筛选得到有效的训练数据。在降低数据标注成本的同时通过精调得到成本更低、耗时更优、效果趋近旗舰模型的轻量级大模型。
举个例子百度电商数字人直播通过模型蒸馏后相比旗舰级模型效果能达到 90%同时达到旗舰级 6 倍的速度10% 的成本更好的适应我们场景应用在效果、性能和成本之间的平衡。 客户在使用面临一个问题模型刚上线符合预期过了一段时间模型应用效果下降。
为什么下降——用户请求 query 结构会发生改变。
怎么办——持续调优。通过千帆 ModelBuilder 提供的工具链帮企业建立自己的数据飞轮根据用户反馈持续迭代模型让模型越用越聪明。 大模型应用效果优化第三招模型能力增强。即给模型增加外部能力比如检索增强能力和工具能力。 这个例子是北京大学通过千帆 AppBuilder 的企业级 RAG 能力打造了一个智能 AI 校园助手「小北学长」。
可以看到这个校园助手的创建就是外挂了北京大学独有的 30 万 知识文件满足校园内特定场景的知识问答回答准确率高达 95% 以上。 今天千帆 AppBuilder 除了提供企业级 RAG 能力还有企业级 Agent、企业级部署、企业级集成共 4 大企业级能力。 大家知道 Agent 具备自主思考、自主编排、记忆、反思等能力能够自主的做任务规划一定程度上为企业降本增效。
但也有一些场景需要严格按照企业的 SOP也就是设定好的工作流来进行任务执行就是我们今天全新发布的工作流 Agent 能力。
下面我们来看个例子通过工作流 Agent模拟航空公司客服人员做机票退改签。
通过工作流 Agent可实现流程高可控、低代码灵活编排、全局知识兜底、丝滑话题切换。 构建智能体应用逐渐变成一个统一范式。
为了进一步降低应用开发门槛我将带来今天的第三个发布大模型应用样板间。
这些应用样板间覆盖高达 100 多个场景。通过模板一键复制到自己的工作台稍作改写就可以落地成企业自己的应用。 除了智能体作为应用载体之外还有非常多的企业级传统应用过去是通过写代码的方式开发今天我们通过大模型也实现了零代码分钟级开发它就是 AI 速搭平台。
继 9 月份云智大会发布之后今天又有了全面的能力升级实现了移动端的适配。 这个示例是通过 AI 速搭一句话生成图书管理系统。 今天我的发布到此结束非常希望通过千帆平台以及我们的一系列样板间持续为大家提供最低门槛、最高效易用的大模型落地工具加速企业落地的最后一公里。
希望大家使用千帆一起来构建更多的企业级 AI 原生应用。 应用已来千帆助航。百度智能云千帆大模型平台愿在大模型的浪潮里与企业一道乘风破浪引领航向。
