做网站图片,wordpress标题转英文,wordpress分表分库插件,百度商桥怎么绑定网站作者#xff1a; 腾讯大数据平台部科学实验中心Tech Lead、专家工程师 马金勇博士 腾讯大数据平台部科学实验中心数据负责人、专家工程师 胡明杰 StarRocks Contributor、腾讯高级工程师 刘志行 在 2022 年#xff0c;腾讯 A/B Test 团队启动了海外商业化版本 ABetterChoice … 作者 腾讯大数据平台部科学实验中心Tech Lead、专家工程师 马金勇博士 腾讯大数据平台部科学实验中心数据负责人、专家工程师 胡明杰 StarRocks Contributor、腾讯高级工程师 刘志行 在 2022 年腾讯 A/B Test 团队启动了海外商业化版本 ABetterChoice 的建设。作为一个全新的 SaaS 产品ABetterChoice 将腾讯内部积累的优秀实验能力进行抽象并基于海外合规、多云环境适配等复杂要求进行了大刀阔斧的改造落地一套能满足海外用户诉求的先进实验产品。ABetterChoice 通过 StarRocks 实现了计算引擎的统一达成实验计算层的规范化以及计算 SQL 的统一化提升了上层整体应用服务的可复用性。 目前ABetterChoice 已接入王者荣耀海外版、PUBG Mobile、Ubisoft 全境封锁等业务。希望能够基于 StarRocks 数据湖的整套数据生态在深耕海外市场的同时也能为社区和业界提供一个产品出海的新范式。 A/B Test 介绍 什么是 A/B Test A/B 实验源自于生物医学里的双盲测试。在双盲测试中病人会被随机分成两组在病人不知情的情况下分别给予安慰剂和药物组进行服用。经过一段时间的观察去比较两组病人的病情变化是否具备统计学差异进而来判断测试用药是否有效。同样A/B 实验能够运用在互联网领域为战略决策、产品迭代、新策略的验证等提供科学有效的决策依据。 A/B Test 应用案例 以游戏生态为例在不同的游戏玩家圈层中都有能够提升核心关注指标的抓手比如潜在玩家更在意游戏是否有足够的吸引性、新玩家更在意游戏的新手引导和初次体验、老玩家更在意游戏生态的建设等。玩家在不同阶段的特征和诉求都可以通过实验进行深度挖掘通过科学的实验流程对游戏产品进行改造与优化提升游戏的玩家口碑和核心运营指标。 关于腾讯 A/B Test 在 2022 年腾讯 PCG 大数据平台部科学实验团队基于公司内沉淀的 A/B Test 平台启动了海外商业化版本 ABetterChoice 的建设作为一个全新的 SaaS 产品ABetterChoice 将腾讯内部积累的优秀实验能力进行抽象并基于海外合规、多云环境适配等复杂要求进行了大刀阔斧的改造落地一套能满足海外用户诉求的先进实验产品。 目前 ABetterChoice 已接入的业务有王者荣耀海外版、PUBG Mobile、Ubisoft全境封锁等。 ABetterChoice官网ABetterChoice.ai 改造背景 出海原因 在腾讯司内游戏出海以及海外二方工作室的快速发展的背景下腾讯 A/B 实验平台作为一款能够赋能业务增长的数据产品也开始进行海外版本的改造筹备工作致力于提供一套对齐海外竞品并能突出腾讯 A/B 特性的优秀 SaaS 产品。 用户诉求 在海外版本改造的过程中我们对业务的诉求进行了深入剖析和划分主要分为以下三类 腾讯自研出海游戏Honor of kings、Pubgm数据组件大部分会与腾讯云生态深度绑定不希望数据出云。 海外工作室SplashDamage、Funcom作为海外独立运作的游戏公司北美、欧洲在数据生态方面会与海外公有云进行深度绑定GCP、AWS对海外数据合规有着严格的要求GDPR/CCPA。 潜在的独立海外用户数据架构通过海外公有云搭建但数据仓库和引擎方面的选择更加多元化Snowflake、Databricks、Bigquery、Redshift等。 基于不同的业务背景和诉求我们在改造的过程中也需要进行通盘考虑提供一套更通用化的数据底座支撑。 架构现状 腾讯 A/B Test 在支持司内业务出海的过程中采用典型的 Kappa 架构满足数据流批上报和多维分析的场景其中用到了 StarRocks 的存算一体模式。随着更多的业务接入和使用该架构逐渐显露弊端分别有 多表 Join 计算场景需要耗费大量计算资源存算一体架构计算资源不能够独立扩容。 存算一体模式中集群 Local storage 采用了 SSD 盘随着业务数据生命周期延长存储性价降低存储量上涨带来成本压力。 该架构与腾讯司内组件 腾讯云深度绑定不具备支持海外二方工作室的数据能力。 如果平台想要在海外进行独立化部署数据架构必须朝着更通用化的方向进行改造。 实验架构改造 实验数据入湖 根据业务在不同云上的诉求我们的架构改造方向也明确为 数据底座基于主流公有云搭建腾讯云 海外公有云。 选用湖仓一体、存算分离的计算架构满足数据合规和多租户的接入场景。 基于这两点要求我们分别在腾讯云和海外公有云建设了两套数据湖方案 在腾讯云我们引入腾讯云大数据组件 TBDS为司内出海游戏业务提供数据底座支撑。 在海外公有云我们引入 Databricks为海外独立游戏工作室、独立公司提供数据入湖的通道底层数据源不仅支持标准的对象存储GCS/S3/Blob也能够支持应用层数据引擎Bigquery/Redshift/Snowflake 等能够更大限度的满足海外不同业务的多种数据入湖要求。 湖上建仓 也正因为有两套数据湖我们才需要一个更加通用的 OLAP 引擎不仅能够在数据湖上进行建仓实现湖仓一体生态降低数据存储成本。同时也需要拥有优秀的本地存储计算能力来满足实验结果的快速产出。 StarRocks 在 3.1版本后对 Delta Lake 以及 Iceberg 的支持更为完善可以在不导入数据湖数据的前提下对数据湖数据进行高性能查询Data Cache实现真正的湖仓融合。在 ABetterChoice 的场景下只需要 StarRocks 一款计算引擎就能达成实验计算层的规范化以及计算 SQL 的统一化提升上层整体应用服务的可复用性。 数据冷热分离 1、分区降冷 在实验场景中不同用户对实验数据的存储周期各不相同。正常实验计算周期是 14 天StarRocks 会将最近 14 天的数据存储到本地 SSD以提升大部分实验结果的计算性能。但实验场景中同样存在跨多天的计算场景长期观察实验会对 1 - 6 个月的数据进行批量累计计算如果这批数据都存在 SSD 中势必会造成存储成本的无序增长。 基于对存储性价比的权衡我们采用了基于数据湖调度的数据降冷机制对超过 14 天的数据自动降冷至对象存储在降冷的过程中会通过数据湖进行表 Meta 信息和状态信息的维护。应用端通过数据湖拉取此类信息进行下发判断在整个降冷过程一小时内完成之前都不会对数据进行查询下发来保证结果数据的准确性。 2、冷热混查 在数据完成降冷操作后如果实验 SQL 的查询周期足够长包含了冷数据 热数据的数据分区那么整个计算就蜕变成 BE CN 的混合查询模式。 在实验的计算场景中我们需要对实验 ID 维度进行 group by再根据观测指标字段进行聚合操作。根据特定的查询场景我们对集群的执行计划进行了调整该类 SQL 在提交到集群后每个 BE/CN 节点会先对 exp_id 字段进行 group by 分组先通过 Agg 算子对观测指标进行初步汇总然后每个 BE/CN 的中间汇总数据再通过 Union 的方式通过后面的 Agg 算子对进行二次聚合得到最终实验结果数据。 该方式通过对集群执行计划的改造和调整减少了大量中间数据 Exchange 传输的过程提升了实验 SQL 的查询性能表现将 SQL 的平均执行时间较改造前整体降低了 80%。 多租户隔离 A/B 实验属于典型的多租户场景由于各业务之间的独特性在不同的实验使用规模、用户量级、实验放量阶段下会存在数据量级的显著差异也因此产生了业务定制化计算资源的诉求。 同样由于海外 CCPA/GDPR 的数据合规要求我们需要对用户数据进行单元级别的物理隔离以及用户级别的虚拟权限管控保证业务数据在任何层面都能做到租户层面隔离。因此我们基于 StarRocks 和公有云组件的能力设计了一套集查询引擎 数据湖 对象存储的多租户隔离方案。 查询引擎层 对常规的业务计算任务会全部请求到一个公共的 StarRocks 集群我们通过对查询权重的分配保证了每个业务的计算都能够得到平等的下发以提升公共集群的资源利用率。同样每个业务会独占一个 Database 和 User并基于各自 User 进行单独库级别赋权规整业务账号之间的访问范围和权限细分。 对独特诉求的业务我们会为其独立部署 StarRocks 集群该集群只会负责该业务的查询由于独占计算资源该集群能够提升实验的即席查询效率和预计算产出时延并能够在业务大促等高峰流量场景中做到单集群的独立扩容操作。 数据湖层通过采用 Databricks Unity Catalog 的能力在每个业务的 Meta data 之间实现 SHOW/SELECT 权限的屏蔽和管控。 对象存储层ABetterChoice 会为每个业务创建独立的对象存储桶并在地域层面实现隔离通过云平台 IAM 实现用户粒度的权限管控。 总结与展望 当下基于 StarRocks 的海外实验平台 ABetterChoice已在公有云实现落地并完成了腾讯司内出海游戏王者荣耀海外版、Pubgm以及海外独立游戏工作室Epic等业务的接入验证工作。 我们的目标也希望能够基于 StarRocks 数据湖的整套数据生态在深耕海外市场的同时也能为社区和业界提供一个产品出海的新范式在未来我们也会对以下领域进行深耕 StarRocks 基于 Delta Lake在实验多维即席查询场景下的计算性能优化。 StarRocks 湖仓一体架构在海外数据合规方面的定制化改造。 最终形成一套能够立足于海外场景基于 StarRocks 的湖仓一体生态建设经验。 更多资讯请关注 StarRocks 公号StarRockslabs StarRocks 源码https://github.com/StarRocks/starrocks 喜欢的话Star 一个吧 欢迎入群交流https://wx.focussend.com/weComLink/mobileQrCodeLink/33412/9c312 本文由 mdnice 多平台发布
