交流网站模版,国外有哪些网站,网站被别人备案,桂城网站设计导读
搜索系统中容易存在头部效应#xff0c;中长尾的优质商品较难获得充分的展示机会#xff0c;如何破除系统的马太效应#xff0c;提升展示结果的丰富性与多样性#xff0c;助力中长尾商品成长是电商平台搜索系统的一个重要课题。其中#xff0c;搜索EE系统在保持排序…导读
搜索系统中容易存在头部效应中长尾的优质商品较难获得充分的展示机会如何破除系统的马太效应提升展示结果的丰富性与多样性助力中长尾商品成长是电商平台搜索系统的一个重要课题。其中搜索EE系统在保持排序结果基本稳定的基础上通过将优质中长尾商品穿插至排序结果中将优质商品动态展示给用户提升用户体验与搜索结果丰富性是破除马太效应的一大助力。
本文将从搜索EE近期的全量迭代出发展现其链路演进的整体脉络包含EE自适应动态探测模型——EE场景建模方式升级——打分与穿插两阶段一致性升级——探测与自然流量全局联动优化四个阶段梳理对搜索EE的思考与下一步迭代方向。
全文目录
1. EE自适应动态探测模型
2. EE场景建模方式升级
3. 打分与穿插两阶段一致性升级
4. 感知上下文的品牌店铺维度探测
5. 总结与展望
一、EE自适应动态探测模型
传统EE模型从商品曝光置信度、打分置信度等角度出发决策EE商品的展示位置以及穿插位置较少从用户浏览意图与探索意愿的差异化角度来考量探测力度。其可能导致用户在宽泛浏览与挑选商品时缺少丰富的商品选择在决策购买时反而穿插了探索商品的误判情景影响用户的搜索体验不能充分发挥搜索EE系统的探索和利用(Explore Exploit)两大能力。
针对以上探测错配情况可尝试在EE模型中显式建模用户的“逛”、“买”探索偏好进一步结合偏好自适应调整搜索EE的利用与探索力度。对于偏“逛”用户增强EE探索力度提供更丰富的探索展示对于购买意愿明显的用户提供更直接的购买选择。通过对用户探索偏好的显式建模能够在提升用户的转化效率的同时提升搜索结果丰富性。
1.自适应探索模型优化
相较于原有EE模型自适应探索对EE模型的自适应探索能力进行了升级主要体现在如下三点1对用户探索偏好进行差异化建模“逛” 买用户提供动态差异化探测力度在转化效率和搜索丰富性中取得平衡。2以用户浏览深度为子任务建模到EE模型中以浏览深度作为用户意愿的重要指标并建模到EE模型中显式增强模型对用户浏览意愿的感知。3提升模型对探索性特征利用性对探索偏好的显式建模提升探索性特征在模型中的学习权重在EE过程中对探索特征进行充分利用。
2.方案实践 为了增强EE模型的自适应探索能力针对原有EE模型进行如下升级
1探索偏好网络Explore-Net
在保持原有的EE模型主网络Exploit-Net基础上添加了探索偏好网络Explore-Net(图中左下绿色部分)提升模型对用户探索意图的差异化建模。
①输入特征优化
考虑到用户的探索意图只与个人特性、搜索词相关因此Explore-Net的输入特征仅使用用户侧、Query侧中相关特征。
为进一步度量特征与探索偏好的关联性统计不同浏览深度下各特征的分布差异剔除了未与浏览深度明显相关特征如搜索词长度等精简特征空间提升预估精度。
②模型显性建模
EE原模型的输入中包含探索性特征但在进行搜索排序任务中易被其他特征掩盖导致利用率不强在探索偏好建模中显式构建了探索偏好网络Explore-Net对用户探索意图进行独立建模构建增强探索性特征的重要性。
优化后的EE模型具有Exploit-Net与Explore-Net双塔结构Exploit-Net对商品进行精准化打分对候选商品进行充分利用Explore-Net对用户探索意愿进行建模根据用户偏好动态调整探索力度共同构成商品探索与利用的完整机制。
2用户浏览深度回归任务构建
在原有的训练过程基础上添加了用户浏览深度回归任务(图中左上红色部分)提升模型对用户浏览意愿的感知性增强EE模型的自适应探索能力。
①辅助任务选择
浏览深度作为用户浏览意愿的直观体现表现了用户的探索意愿因此使用浏览深度预估任务作为模型训练的辅助任务,对用户偏好进行显式建模。
在辅助任务类型的考量上综合考虑了将浏览深度划分不同区间进行预测的分类任务,以及对浏览深度的回归任务。在实验中分类任务体现出较为明显的头尾倾向性输出值分布不均匀实践中最终选用了回归任务作为辅助任务。
②回归任务设计
在样本数据分析中发现用户的浏览深度差异化极大。为了平衡浏览深度的差异保障模型输出值的均匀性与差异性对浏览深度标签进行了log平滑放缩并选用RMSE-loss作为辅助任务的损失函数对浏览深度任务进行构建。
在模型训练中头尾样本相对较少对过浅和过深的两类样本预测准确性偏低。为平衡样本间差异在损失函数的样本权重设计中对由浅到深相应样本其权重为先减小后增大的 “凹形”权重平衡头尾和腰部样本的准确性。
3Explore-Net与主网络的二次融合
Explore-Net 和 Exploit-Net 进行了融合(图中中上红色部分)增强模型整体对探索性特征的利用提升EE隐层embedding丰富性对探索偏好较强的用户提升了不确定性打分提升探索商品的范围和丰富度。 ①特征融合
由于在用户浏览深度回归任务上对用户的探索偏好进行了显式建模Explore-Net的输出embedding对探索性特征进行了高维抽取能够对用户偏好进行自适应建模。
为让探索偏好特征更好地参与到整体任务训练中平衡打分的精准性与差异化将Explore-Net的深层表征与Exploit-Net的深层表征进行拼接融合提升EE模型隐层embedding的丰富性和表征能力提升模型打分能力。
②不确定性预估融合
用户的探索偏好与商品的不确定性预估有直接的相关关联。对于探索意图较强的用户提升商品打分的不确定性助力更丰富的商品穿插到搜索结果中反之亦如此。因此在不确定性预估模块中设计在探索表征层面进行融合。
在不确定性预估SVGP模块中将浏览深度回归网络输出值与方差预估部分进行了二次融合对于探索偏好较强的用户显式强化了商品不确定性打分提升探索力度。
3.升级效果
1探索利用效果分析
①EE模型打分结果分析
在相同的预测集上统计了平均打分探测力度随浏览深度变化情况 结论相比原模型自适应探索模型的平均探测力度随浏览深度增大而逐渐增大体现出session维度的显著差异化。
②EE实验位下穿插商品位置分析
在各实验位下统计平均插入位置与浏览深度的变化情况。 结论Test桶结果随着浏览深度增大商品的平均插入位置相比原模型有所前移探索力度增强。
核心结论通过以上对探索利用的效果分析自适应探索模型符合设计预期在浏览深度较低的session下插入商品较少探索力度较弱在浏览深度较深的session下EE模型的探索意愿更强模型探索力度更大穿插商品位置有所前移。
2线上效果
保持搜索效率持平的情况下EE核心指标提升明显并全量上线流动性、探索成功率提升近 0.5%。
商品建模方式思考
差异化建模用户探索意图后EE模块实现了对不同用户自适应调整探索并取得了一定收益。用户侧建模方式优化后对商品侧建模方式进行升级改造将是进一步提升EE探测模型的合理切入点。
二、EE场景建模方式升级
原主网络建模方式为点击率单任务点击作为转化的前置行为建模点击行为实现对潜力中长尾的探索助力。同时在实践中通过样本label进行动态权重调整隐式建模转化属性兼顾转化效率。
仅建模点击对高转化属性商品并不友好同时是对标题党行为的潜在鼓励和EE模块优化整体生态环境、打造搜索长期价值的初衷有所偏差。因此升级思路不再局限于仅关注曝光后获得点击这一前置链路行为而是对整体转化链路进行建模关注商品的多维度属性。
1.EE场景建模方式优化
在原有基础上引入转化行为的显式建模任务将主网络结构从点击单任务升级为点击转化多任务以多任务方式增强不同行为的建模质量实现对商品的更全面、更准确建模。
2.方案实践 在EE自适应探索机制基础上EE场景建模方式升级对原有模型进行了如下优化与升级
1SVGP模块交互方案设计
原模型中主网络和辅助模块在SVGP模块中交互新版方案中辅助任务是否需要与SVGP模块进行交互? 即随机高斯过程是否需要同样作用于建模转化任务是方案设计首要考虑的问题。
具体实验中发现SVGP会导致收敛后AUC指标在千分位级别降低即其在引入不确定性功能的同时会轻微降低模型效果。考虑到目前SVGP模块已带来所需的探索能力难以通过多SVGP堆叠方式带来收益。因此升级方案选择将辅助任务构建成纯净任务其仅建模商品属性而不构建对应的SVGP模块。
2多任务网络框架实现
EE探测线上耗时较低建模方式升级后需延续这一目标。虽然主流多任务结构MMOE性能更为优越但线上耗时将有增加风险因此选择更轻量级的share bottom方式在基本不增加线上耗时的情况下完成多任务建模。升级方案把多任务被设计为双任务模型使用低层网络进行表征抽取在高层维度使用两个tower分别建模主任务和辅助任务。
①任务组合选取
选择双任务为ctr任务ctcvr任务考虑到点击样本比订单样本更丰富 ctr正样本更多对于需要大量引导点的SVGP模块更为友好。同时点击相对购买行为的不确定性更高在点击预测上引入不确定性打分更为合理因此将ctr作为主任务、ctcvr为辅助任务进行配置。
②模型结构迭代
前述迭代过程中模型结构如图中间所示低层网络编码输入信息后使用两个浅层tower分别学习不同任务 该结构潜在缺点为一方面可能导致低层网络梯度被某个任务主导例如ctr任务另一方面上层tower过浅可能导致任务学习不够充分。
进一步探索仅共享特征、增加任务tower深度的网络结构。在多任务分数融合方式相同的情况下新结构线上表现更佳因此最终结构如上图最右所示使用较深的tower head建模各自任务彼此间仅共享特征。
③融合方式迭代
上述模型在离线指标上取得了不错的收益且线上表现更优但遇到了大盘效率和EE相关指标无法同时提升的问题。分析梳理现有方案实验后认为目前多任务融合方式相对朴素、存在改善提升空间。
选取带权相加、直接相乘和幂次指数相乘三种方式。由于缺乏合适的理论量化分析工具因此选择从实验结果出发选取最优融合方式和融合系数为此开发了离线融合寻参模块将predict时各head打分结果保存后通过网格搜索方式选取最优参数。
通过在多组数据上遍历寻优确定不同融合方式的最优系数并基于此开展线上实验选取表现最优方式最终我们选取带权相加方式在EE指标提升的同时保持大盘效率指标持平。
3.升级效果
1模型建模升级效果分析
①EE模型打分区分度分析
在相同的预测集上统计了离线打分分布情况 结论分布由橙色线条原版变为蓝色线条升级后版本整体更加平缓保证不同商品彼此更具备区分度。
②EE探测次数分析
统计线上打分分布情况对线上探测情况进行分析 结论横轴为曝光数量大于等于N纵轴为distinct sku数量下图表明模型升级后在仅探索一次的dst sku数量上有所下降减少偏随机的一次性探测但在多次探索商品上有所提升表明test更倾向于探索中腰部商品。
2线上效果
搜索效率持平情况下流动性指标、探索成功率提升显著并全量上线。
链路一致性思考
完成EE打分模型优化后能够一定程度实现探索力度随用户探索意愿的动态调整。但从整体EE链路上看 (候选集生成 → EE打分 → 动态展示)EE动态穿插决策与打分阶段相互独立其结果由一个xgb回归模型决定两个阶段的联动关系和一致性程度弱。如何跟随用户浏览意愿将 EE打分→ 动态展示 两个环节能够同步、一致性地调整是进一步的优化方向。
三、打分与穿插端到端一致性升级
打分与穿插展示两个阶段一致性未能对齐可能导致激进的模型打分无法匹配上丰富的穿插展示无法同步放大EE的探测效果。此外两个阶段分别由两个模型独立控制也增加了维护和迭代成本。
面对此一致性问题升级了端到端打分与穿插方案。EE模型中建模的用户浏览意图不仅影响EE探测的力度大小也同时决定动态穿插展示的策略强弱。两阶段的决策过程端到端实现将流量进行更合理分配宽泛意图的用户能够达到探测更激进、穿插更多的共振。
1.端到端动态穿插机制优化点
端到端动态穿插机制在原有自适应探索基础上升级点主要体现在如下三点
1浏览深度预估精准度升级在EE探索偏好建模网络Explore-net基础上提升浏览深度预测精准度。
2EE流量精准化分配根据session浏览深度分布动态分配各深度下穿插商品量提升EE穿插商品占比调控可操作性。
3模型打分与动态穿插数量端到端一致性增强采用EE主模型的浏览深度映射得到当前session下穿插商品数量端到端解决EE穿插商品数量与EE商品打分两个任务提升两阶段一致性。
2.方案实践 在EE自适应探索机制基础上端到端动态穿插机制对原有动态穿插机制进行了如下优化与升级
1动态穿插机制端到端建模
①浏览深度预估任务优化
浏览深度代表了用户在session下的浏览意愿是EE流量进行合理分配的基础性指标。在不同浏览深度的session下匹配适合数量的EE商品能在保障效率的前提下提升搜索结果丰富性。
进一步优化了自适应探索模型中Explore-Net对浏览深度预估子任务的准确性对其输出的浏览深度预估值进行评估其准度明显高于原有xgb模型可以对原有xgb模型进行替换。
②端到端建模浏览深度与模型打分
自适应探索实验中使用Explore-Net对模型打分进行差异化探索其中的浏览深度预估任务可以沿用到穿插商品数量任务中使模型具有端到端建模两个子任务的能力。
2合理设计浏览深度与穿插商品数量映射
在准确预估浏览深度的情况下通过将浏览深度预估值映射到穿插数量中保障穿插数量与模型打分一致性在更深的session下有更多的商品穿插数量和更强的探测力度。
3.升级效果
1动态穿插效果分析
①浏览深度预测准度分析
对比两模型的浏览深度预估准确性使用均方根对数误差(Root Mean Squared Logarithmic Error, RMSLE)指标进行衡量 结论在同样的验证集下Explore-net模型的预估精度明显优于原模型。
②探索打分、动态穿插一致性效果分析
检查各浏览深度下base与test两个机制下各浏览深度下预设的插入商品曲线和穿插商品数量分布图。 结论
比较蓝色(test)与黄色(base)两根实线在较浅的session下新旧机制穿插商品数量基本持平;在较深的session下新机制相较于旧机制插入商品数量更多体现了探索较强时新的穿插机制会探索更多商品。通过蓝色实线与虚线黄色实线与虚线两组曲线对比新穿插机制下预期插入数量曲线与实际插入数量曲线更贴合说明穿插数量设定更为合理新的穿插机制与商品打分一致性更强。
2线上效果
搜索效率持平情况下EE核心指标有一定提升并全量上线。
流量整体联动优化思考
在对EE流量进行整体优化后商品探索力度与EE流量分配能够随用户浏览意愿进行自适应调整但从全局商品展示结果中看EE探测流量与自然流量相互独立两者之间并未建立充分的联动与结合。
将视角逐渐放宽到整个排序链路如何做好EE流量与自然流量的联动发挥EE在搜索排序链路后置位的优势充分补充与优化自然流量是下一个关心的问题。
四、感知上下文的品牌店铺维度探测
在搜索链路中EE处于相对后置的位置然而原EE系统未充分利用这一感知优势对前序排序结果感知能力较弱。在一些强势品牌、店铺主导的关键词下存在头部品牌、店铺扎堆现象优质新品、中长尾商品无法露出马太效应明显。
对此问题尝试跳出仅考虑商品维度探测的局限从更高的品牌、店铺维度视角对排序结果进行全局性联动优化建立感知上下文的多维度探测能力。其设计旨在增强对上下文排序结果的感知能力并在自然流量中对商品分布进行联动优化系统性缓解排序链路的马太效应。 1.感知上下文的多维度探测机制优化点
感知上下文的多维度探测机制在原有EE探测能力基础上进行了如下三个方面的优化
1新增EE探测系统对上下文感知能力对EE前的排序上下文结果进行充分的感知对自然流量下原有搜索排序结果进行自适应的穿插优化。
2实现EE探测维度的扩展除了现有支持的商品粒度探测从更宏观的品牌、店铺等维度视角对排序生态进行优化。
3EE流量与自然流量联动全局性优化缓解部分词下头部品牌和店铺扎堆现象提升排序多样性避免对头部品牌、店铺商品进行更多探测、加剧马太效应。
2.方案实践
本次升级在原有的搜索EE穿插机制下进行了如下能力的增强与优化
1新增上下文感知能力
在原有搜索EE穿插机制基础上新增加上下文感知能力对搜索词属性和上下文排序结果的商品分布进行计算指导后续的穿插过程
①感知query词属性
为保障搜索排序结果合理性避免产生体验性问题感知上下文能力将判断query词是否是品牌词(如华为)或型号词(如iphone)决定是否开启品牌维度探测判断query词是否是精准店铺词决定是否开启店铺维度探测。
②排序结果商品分布
新增上下文排序结果感知能力通过统计上链路搜索结果排名前k的商品中的品牌和店铺的分布情况判断是否存在品牌或店铺的集中现象进而决定是否开启多维度探测能力。
2优化原有穿插机制
在感知能力作为多维度探测启动开关基础上优化了原有的穿插机制通过EE展示效果与自然流量结果联动提升搜索结果丰富性与多样性对搜索结果进行直接高效的影响。
①由感知能力模块判断用户搜索意图和商品分布决定是否进行多维度探测
对用户搜索意图直接的搜索词动态开启多维度探测功能如query为品牌词或型号词则不应进行品牌维度探测如query为店铺词则不进行店铺维度探测避免影响搜索结果的准确性。考量搜索结果的前k个商品的品牌/店铺分布判断是否存在头部品牌/店铺扎堆的问题当同一品牌/店铺下商品占比超过p%后不再插入该类型EE商品。
②穿插结果优化
如不再插入该类型EE商品在候选商品中剔除该类型其余商品按照EE打分结果插入到排序结果中不影响EE穿插过程与穿插数量保障EE穿插位置和展现效果合理性。
3.升级效果
1多维度探测效果分析
①EE穿插曝光占比分析
在EE穿插过程中由于部分EE模型打分较高的头部品牌/店铺的商品在EE候选商品中被剔除剩余商品模型打分稍低导致穿插位置发生后移或无法穿插进排序结果中为了避免EE穿插曝光占比降低提升了各浏览深度下EE穿插商品的配额。实验期间EE曝光占比base与test基本持平。
②多维度探测体验分析
下面对比了多款热词下EE穿插商品情况。 结论在多组query词下test机制相较于base机制在穿插的过程中减少了头部品牌/店铺的插入增强了展示结果的丰富性缓解马太效应同时注意到test机制由于部分头部品牌/店铺商品被滤除穿插位置相对有所后移在排序靠后的位置受配额影响多插入1-2个商品整体曝光量与base基本一致与分析一的结论一致。
2线上效果
在保持搜索效率持平的情况下多样性指标大幅提升并全量上线。
五、总结与展望
本文重点阐述了在搜索EE机制迭代过程中的思考与演进历程搜索EE作为优化搜索生态与缓解搜索马太效应的重要工具在演进过程中也围绕搜索结果丰富性和体验性进行了系统性优化。
在优化思路上不断寻找EE系统的瓶颈问题在自适应探索机制和建模方式升级提供差异化商品探索力度将商品打分与穿插商品个数进行联动端到端优化EE流量分配问题之后将视野扩展到全局流量通过多维度探索机制联动自然流量使EE流量作为自然流量的互相补充。整体思路体现出从商品间探索打分优化——EE流量个性化分配——与自然流量全局优化的迭代进程。
搜索EE后续还将面临更多的问题和挑战后续会继续沿用这样的迭代思路在更多方面进行探索与深入
扩展EE模型的训练样本空间优化现有任务建模方案。搜索EE向更广链路辐射打造全链路EE探索能力。EE覆盖更广商品建模打造更完善的中长尾商品泛化表征。
今天的分享就到这里谢谢大家。 作者京东零售 才子嘉赵恒 来源京东云开发者社区 转载请注明来源
