佛山网站建设玲念建站,电商网站开发意义,页制作与网站建设技术大全,阿里巴巴 商城网站怎么做本文是我翻译过来的#xff0c;讨论了在线广告行业的现状以及如何将大型语言模型#xff08;LLM#xff09;应用于在线广告。 原文请参见”阅读原文“。
在2024年#xff0c;预计全球媒体广告支出的69%将流向数字广告市场。这个数字预计到2029年将增长到79%。在Meta的2024…本文是我翻译过来的讨论了在线广告行业的现状以及如何将大型语言模型LLM应用于在线广告。 原文请参见”阅读原文“。
在2024年预计全球媒体广告支出的69%将流向数字广告市场。这个数字预计到2029年将增长到79%。在Meta的2024年第二季度财报中98%的销售额来自广告。随着公司将资金从传统媒体渠道如印刷和电视转移到增加数字广告支出在线广告领域继续其主导地位。最近有一些研究计划探索在在线广告中使用大型语言模型。本文将温和地介绍这一趋势并突出一些相关的提议。 推动在线广告行业的技术已经取得了长足的进步变得高度复杂。从高层次来看在线广告格局可以细分为几个类别——赞助搜索、展示广告、社交媒体广告、联盟营销等。为了本文的目的我们将专注于前两个类别。 赞助搜索是一种广告形式当用户搜索某些关键词时广告会与搜索引擎结果一起显示。这些广告是谷歌将数十亿次搜索转化为收入的方式。谷歌提供了最多4个广告商的机会通过让他们的广告出现在搜索结果中吸引客户使用他们的产品或服务。谷歌赞助搜索结果示例 如上所见赞助搜索结果通常以与算法结果类似的格式显示——它们都是一个包含标题、文本描述和对应网页超链接的项目列表。列表中的每个位置也称为一个槽位。出现在更高排名的槽位上的广告即在结果页面上位置更高的广告通常会获得更多的点击因此对广告商来说更具吸引力。平台决定在搜索引擎结果页面SERP中为广告分配多少个槽位。搜索和原生广告在捕获用户注意力方面更胜一筹其观看次数比展示广告多约50%。 展示广告另一方面指的是在网站上以各种格式放置广告如横幅、弹窗、图片或视频。这些广告不一定与网页内容相关但根据用户人口统计、推断的兴趣、上下文等因素进行定位。第一个数字横幅广告出现在1994年10月27日Wired杂志的网站hotwired.com上。这个广告是ATT的“未来科技奇迹”活动的一部分。1994年hotwired上ATT的横幅广告。这个广告运行了4个多月看到广告的44%的人点击了它。
在线广告的核心是拍卖机制。拍卖是一种可以追溯到公元前500年的销售机制。这种市场机构一直在以各种方式推动全球经济体系例如在佳士得和苏富比拍卖高质量艺术品在东京筑地市场拍卖鲜鱼为手机拍卖电磁频谱政府合同在电视节目《存储战争》中拍卖废弃财产等。哈伯德等人将拍卖定义为一种分配对象或获取服务的方式。在不确定的情况下拍卖执行了一种称为“价格发现”的服务其中对象的真实价值未知。
从高层次来看拍卖具有两个属性——拍卖格式和定价规则。这些属性确保了投标人事先了解规则并且拍卖中的价格形成是透明的。拍卖格式可以是公开的也称为“口头”或“公开喊价”或者是封闭的也称为“密封出价”这取决于每个投标人是否知道其他投标人的出价金额。定价规则可以是“第一价格”即获胜的投标人支付最高的出价或者是“第二价格”也称为“维克里”拍卖以威廉·S·维克里的名字命名获胜的投标人支付第二高的出价。在线广告通常遵循封闭和维克里拍卖也称为“广义第二价格”或GSP。有关拍卖理论的深入介绍请参阅Roughgarden等人的著作。
在赞助搜索的背景下谷歌搜索引擎几乎每次有人搜索短语时都会进行拍卖也称为“位置拍卖”。不同的搜索词产生不同的结果因此广告商寻找并愿意为相关机会支付更多费用。因此他们为涉及其产品相关关键词的搜索向谷歌提交出价。谷歌将最高位置授予出价最高的投标人。谷歌还提供了流量估算工具和许多其他数据帮助预测多个时间段内的点击次数和成本。除了出价大多数搜索引擎还使用某种质量得分来优化收入如点击率CTR、相关性、用户体验等。例如拍卖可以优化以下公式 展示广告的整体系统要复杂得多因为广告商和消费者之间有更多的中介和间接联系。下图显示了数字广告生态系统的高层次概览。该系统旨在帮助像耐克和ATT这样的广告商即品牌或公司他们希望向消费者最终用户推广他们的产品或服务。像theguardian.com和nytimes.com这样的发布商是网站、应用程序或其他数字属性它们出售广告空间或预定义大小的广告槽位。像谷歌AdX和OpenX这样的广告交易平台是数字市场广告库存在实时购买和出售功能类似于股票交易所。广告商使用需求方平台DSP如The Trade Desk和MediaMath在多个广告交易平台或广告网络中购买广告印象。同样发布商使用供应方平台SSP如谷歌AdSense和PubMatic自动出售和优化他们的广告库存。像谷歌展示网络GDN、Media.net这样的广告网络充当中介通过从各种来源构建库存并根据用户人口统计、兴趣和上下文等定位标准向广告商提供。
graph TD;
%%{init:{theme:forest}}%%A[广告商] --|创建活动 设置目标| B[需求方平台 (DSP)]B --|对库存出价| C[广告交易平台]C --|进行拍卖| D[供应方平台 (SSP)]D --|管理 出售库存| E[发布商]E --|提供广告| F[消费者]A --|直接购买或通过DSP| G[广告网络]G --|聚合库存| DC --|出售库存| G
当用户访问网站或应用程序时SSP向广告交易平台发送请求DSP代表广告商出价。广告交易平台是实时拍卖发生的市场。就像股票交易一样购买是由一个智能算法完成的该算法确定用户和可用广告的质量并影响出价价格。在金融领域这通常被称为高频交易而在广告领域它被称为程序化购买。据估计到2029年85%的广告市场份额将通过程序化广告产生。
DSP根据一些性能指标优化其出价策略如预测的点击率。它们通常依赖于广告网络追踪用户在其网络内多个站点的活动的第三方cookie以及发布商在用户访问其站点时创建的first-party cookie。DSP通常寻找套利机会以每千次展示成本CPM为基础便宜地购买广告机会并使用他们的广告互动数据以每次点击成本CPC为基础出售广告位置以获利。
大型语言模型LLM因为问答、内容生成、摘要、翻译和代码补全等任务而受到广泛关注。像ChatGPT、Claude和Perplexity这样的AI助手正在越来越多地影响人们依赖这些LLM来满足他们的信息需求经常用这些AI助手工具取代搜索引擎的使用。在2023年PCMag的一项调查中35%的普通用户和65%的高级用户表示他们使用LLM比使用传统搜索引擎更快地找到信息。
目前这些LLM服务的运营成本极高主要遵循基于订阅的模式。一些在线产品如搜索引擎和社交媒体网站已经采用了广告支持的模式来提供免费服务。自然而然地人们会问广告是否也可以减轻LLM基础服务的一些服务成本。通过广告LLM提供商可以产生额外的收入使他们能够为无法获得付费订阅的个人提供信息的免费访问。来自谷歌等LLM提供商的研究人员已经考虑将广告融入LLM输出中而不损害内容的完整性。
Feizi等人提出了一个基于LLM的广告LLMA的通用框架如下图所示。 LLMA框架 一个未结构化广告融入原始LLM输出的例子右侧 一个结构化广告融入原始LLM输出的例子右侧
与标准搜索广告相比LLM基础广告在几个方面面临一些独特的挑战 在搜索广告中用户查询更加明确可以轻松地抽象为一组关键词。然而由于其灵活性LLM输入要长得多可能需要对自然语言有更深入的理解以便广告商能够对每个关键词出价。 原生地放置在LLM输出中的广告可能会显著影响LLM服务的营销影响而在传统搜索的情况下广告内容通常被假定为与SERP内容独立。LLM输出中过多的广告或不相关的广告可能会显著降低LLM输出从而降低用户留存率。整合广告不应该使修改后的LLM输出与原始输出偏离太远。 对于广告商来说LLMA带来了新的技术挑战因为他们将不得不衡量修改后的LLM输出如何反映他们的偏好。广告商还希望他们的产品或服务以一种引人注目和吸引人的方式展示以吸引用户的兴趣。 对于LLM平台来说与广告商的额外通信成本必须通过这些广告获得的收入来补偿。在LLM输出中包含广告也可能减少整体服务使用。 当将多个广告融入LLM输出时并非所有广告商都同意修改后的输出的平衡因此他们可能不想在动态出价环境中对特定的修改后的输出出价。
在Duetting等人的研究中谷歌研究提出了一个文本基础广告创意生成设置中的正式机制设计问题每个投标人都使用一个LLM代理来提交出价。给定令牌历史每个投标人对下一个令牌的期望分布进行出价。这些令牌可以是单词或子单词。“令牌拍卖”逐个令牌操作并在竞争广告商提供的LLM中选择每个令牌的源LLM。拍卖输出是与支付规则一起的聚合分布。他们的工作在解决他们偏好中的潜在激励不一致的同时聚合了多个LLM代理模型的输出。
作者强调在拍卖理论中使用价值函数来通过为每个结果分配一个值来模拟偏好。然而LLM将前缀字符串映射到下一个令牌的分布上并不直接分配值。此外在解码方面LLM依赖于随机化并且在被迫确定性地输出令牌时表现更差。在他们的提议中设计者被假定可以访问LLM代理的文本生成函数以了解他们的首选分布并确定他们的相对权重。受LLM训练的启发作者定义了两个福利目标并提出了两个聚合函数这些函数是所有拍卖参与者的目标分布的加权组合。参与者的权重由他们的出价决定。
为了演示作者使用了一个自定义版本的谷歌Bard模型该模型允许访问令牌分布。代理的偏好被建模为涉及分布的部分顺序。他们通过结合两个假设品牌的LLM输出从共同营销和竞争品牌的角度评估他们的方法。
然而在实践中要求广告商为每个令牌提供他们期望的分布和相应的出价将引入大量的通信开销。广告商的支出随着生成序列的长度而增长他们可能在令牌生成达到他们不想再出价的点例如一个否定之前支付了一大笔钱。为了解决所有这些限制Soumalias等人提出了一种不依赖于代理的价值函数而只依赖于他们对候选序列的价值的拍卖机制。这种方法不需要访问模型权重只依赖于LLM API调用。他们的建模目标反映了人类反馈强化学习RLHF方法但将人类反馈奖励函数替换为代理奖励之和。随着计算资源的增加他们的方法可以证明会收敛到为平台目标优化调整的LLM的输出。他们的支付规则也是策略证明的这意味着代理没有过度或过低出价的动机。
像谷歌搜索和微软必应这样的搜索引擎已经开始使用他们的genAI产品来提供增强的搜索摘要以增强用户体验。在这种情况下用户向搜索引擎提交商业性质的查询然后一组相关的广告作为输入提供给LLM它返回一个对用户更有帮助的摘要段落例如用于比较价格、产品特性、根据他们的需求找到特定产品。 谷歌搜索生成体验SGE的一个例子
在Dubey等人的研究中谷歌研究人员提出了一个类似的LLM基础摘要设置中的广告拍卖。在这种情况下展示是一个由多个广告组成的摘要段落投标人为在这个LLM生成的摘要中放置他们的广告出价。在标准位置拍卖中对于每个位置分配组合在决策时已知点击率、福利和收入的估计。因此可以有效地做出关于分配和定价的决策。然而在LLM基础广告场景中最终的摘要广告文本在运行时确定拍卖无法控制。作者提出了一个适用于这种摘要设置的框架和一个机制它提供了良好的拍卖激励具有高社会福利为广告商和用户带来价值。
带有LLM摘要的拍卖框架 带有LLM摘要的拍卖框架
拍卖模块接收来自预测点击率pCTR模块的预测点击率广告和点击率预测。拍卖模块输出价格以及一个“突出度分配”输出以输入到LLM模块。这种突出度是一个抽象概念代表广告在LLM生成的摘要中应该获得的相对重要性。例如它可以是一个指示广告创意的空间和吸引力的元组。LLM输出遵循拍卖模块的指导通过突出度。pCTR模块使用突出度作为特征并生成点击率函数的无偏估计。
LLM广告摘要输出示例三个由Gemini Pro生成的合成广告查询“倾斜高尔夫”摘要总词长60。 在A中突出度输出为 [0.41, 0.33, 0.25]即词长分别为 [25, 20, 15]。 在B中突出度输出为 [0.58, 0.4, 0.0]即词长分别为 [35, 25, 0]。
作者考虑了为每个广告分配的词数限制作为其突出度分数并分享了一个名为动态词长摘要DWLS的案例研究。在这种设置下拍卖的目标是决定广告的顺序以及分配给每个广告的词数比例。每个广告都使用链式思考提示单独摘要并通过迭代推理方法与Gemini 1.0 Pro模型一起使用。
Hajiaghayi等人提出了一个段落拍卖其中每个话语段落根据其出价和相关性以概率方式检索广告。在这种情况下段落是一系列令牌的抽象可以是段落、部分或整个输出。
带有RAG的段落拍卖 带有RAG的段落拍卖
给定用户查询系统使用检索增强生成RAG从数据库中检索相关广告。拍卖模块接收相应的出价和点击概率与检索概率或校准的相关性得分一致作为输入并输出获胜的广告。LLM输出基于这个获胜的广告并包含对广告的提及以及超链接。拍卖可以分别为每个段落进行也可以同时为多个段落进行。
用于广告段落生成的提示 为每个段落提供获胜广告的LLM上下文模型被要求生成一个额外的段落将广告融入其中。
作者提出了并最大化了一个新的社会福利概念以平衡分配效率和公平性。然后他们将结果扩展到每个段落的多广告分配。作者还使用公开可用的LLM API进行了实验以验证他们方法的有效性和可行性。实验得出了一个有趣的权衡即输出质量和收入之间的权衡其中单广告段落拍卖产生更高的收入但多广告拍卖导致更高质量的输出。
基于大型语言模型的AI助手被证明是传统搜索引擎的一个很好的补充甚至在某些情况下取代了它们的使用。将广告无缝集成到LLM对商业性质查询的响应中可以帮助LLM提供商为他们的服务提供免费层。然而为确保良好的用户体验和效用集成广告的输出不应与原始输出偏离太远。本文首先介绍了像赞助搜索和展示广告这样的在线广告系统的现状然后探讨了将这些广告模型和框架与LLM上下文对齐的前景。这种方法使得将广告集成到多个基于LLM的应用中例如AI聊天机器人、视频游戏中的NPC角色等。 阅读原文
