长沙网站建站,视频剪辑师要学多久,快速网站轻松排名哪家好,wordpress与phpcms目前由于数据分散在不同的存储环境或数据库中#xff0c;对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理#xff0c;造成资源和人力的浪费。同时#xff0c;目前的系统架构#xff0c;无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新…目前由于数据分散在不同的存储环境或数据库中对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理造成资源和人力的浪费。同时目前的系统架构无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上以及不能支撑业务发展的问题。以此建设背景建设新一代数据管理平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管理、数据资源管理。 建设目标 一、提高业务产品的研发效率 解决不同的业务部门之间的项目、组件、数据很难复用同时带来繁重的运维成本的环境对业务团队的同事来讲不友好除了要熟悉业务以外还需要对底层框架有比较深入的了解重复的开发工作例如导表、调度等本来可以复用的模块却需要在多个项目中重复实现频繁的跨部门需求沟通和讨论平台将会统一数据、数据共享、服务组件来提高业务产品研发的效率。 二、提升业务需求的响应能力经常遇到业务需求变更和新的需求传统的开发模式从“找数据”、“对接数据”、“编码开发”等过程开发周期较长影响业务需求的快速服务。数据平台提供可视化的API开发接口、组件服务库能够快速响应业务需求的开发。比如开发一个新的业务需要用户的完整信息则需要在平台上可视化调用各数据拼装新的数据单元形成数据服务接口快速支撑开发人员从而减少业务上线的时间提升业务的响应速度。
三、让数据具备赋能业务创新的能力深度挖掘数据价值面向数据分析场景构建数据模型支撑业务决策和产品智能。平台数据需按照规范的建模方法论将数据形成主题域模型、形成标签模型或者指标模型。这些数据模型是数据平台的核心资产数据平台的各业务系统通过大数据计算平台这座数据加工厂统一加工后产生数据模型再将这些数据资产通过可视化的界面管理起来并使用标准化的数据服务接口对数据应用端提供数据应用服务如快速建立新业务指标模型。
应用平台“四化”建设
1、数据汇集可视化以往数据同步需要对不同的数据源单独编写数据同步工具耗时耗力但是所有的行为抽象是同类可以建设可视化管理系统来对数据汇集管理、调度。
2、数据建模自助化打通不同业务口子的数据融合快速形成新的数据服务单元将传统的、手动的方式改为线上可视化任务方式比如要查询会员的信息可能分布在不同的数据源中在线可以实现打通宽表实现会员信息的再次编排形成用户完整的数据单元。群策群力构建模型应用市场。
1数据模型市场
建立模型市场类似于应用市场对数据管理人员、分析人员或者其他授权人员提供数据模型共享。模型市场有系统预置以及有其他创建模型的组织来提供市场包含多种风控模型、预测模型、营销模型等。数据模型市场不仅仅支持模型在线分析同时数据模型可以作为能力对业务过程助力如一个用户来需要办理一个新业务需要对其购买意愿做评估则可以用模型市场中营销模型对其做出分析。
2简单分析模型建模
在线选择数据源将数据源通到控制面板中然后建立数据源直接的关系后提交计算形成一个新的数据单元。
3复杂分析模型建模
数据工程师登录平台创建新的项目申请数据资源。
数据工程师通过元数据查找选出表选择数据集或者数据接口填写相关信息
申请这些需要用到的表。比如需要用到100 张表其中70 张是通过 T1 的方式使用30 张是通过实时方式使用。 默认会做标准化脱敏加密策略收到这些申请之后数据管理员会按策略依次进行审批。
审批通过后会自动准备和输出所申请的数据资源数据工程师可以运用拿到的数据资源进行自助查询、开发、配置、SQL 编排生成等。
最后将自助报表或仪表板提交给用户使用。
3、数据服务接口化数据平台具备“只要能够获取到数据表/视图的权限便支持封装为API接口发布”的能力。而标准的API接口能够充分实现各业务单位按需申请使用现有成果的可复用性大大减少了重复建设的成本也极大降低了信息中心的工作压力实现易上手、低成本、稳定的数据开放共享服务帮助前台业务快速接入创建数据服务API的两种方式
1构建简单数据服务接口
以【向导模式】新建API填入接口的基本信息含API名称、API路径、协议等。
选择数据源库名称、表名称后系统会自动展示表结构的Schema信息。
基于表结构勾选出需要的入参及出参字段并设置好查询条件、是否分页及使用过滤器等选项。
对新API进行验证结果符合预期后点击发布新API就正式上线提供服务了。
2构建复杂数据服务接口
以【脚本模式】新建API该操作与简单数据查询服务操作一致。
先选择数据源含库类型、库名称后再编写一条完整的SQL语句支持同一数据源下多张表的关联查询、支持字段别名、SQL函数等。
编写好SQL语句后系统会自动分析出API的入参和出参请对参数信息进行设置如是否分页、使用过滤器等选项方便API调用者。
新API进行验证结果符合预期后点击发布新API就正式上线提供服务了。
4、业务服务组件化对目前各个系统中重合度高的业务形成组件化构建一个领域服务层组件或微服务模块来提供整合后的领域服务能力这个组件如果需要提供一个关联多个业务对象的数据集合那么就需要调用API接口返回多个独立数据集合然后在组件业务逻辑实现中来完成多个数据集的整合工作开放给前台使用方便前台业务场景和功能的实现。 基础平台建设
1、数据集成要提高数据使用效率打破数据库之间的物理隔阂需要先将数据汇聚到数据仓库中数据同步分为实时和非实时采用的技术也不同。目前先从ODS中同步到hive。数据同步策略的类型包括全量表、增量表、新增及变化表、拉链表Ø 全量表存储完整的数据。Ø 增量表存储新增加的数据。Ø 新增及变化表存储新增加的数据和变化的数据。Ø 拉链表对新增及变化表做定期合并。
2、实体表同步策略
实体表比如用户理财产品等实体表数据量比较小通常可以做每日全量是每天存一份完整数据。即每日全量。
1维度表同步策略
维度表比如订单状态审批状态产品分类维度表数据量比较小通常可以做每日全量是每天存一份完整数据。即每日全量。说明
针对可能会有变化的状态数据可以存储每日全量。
没变化的客观世界的维度比如性别地区民族可以只存一份固定值。
2事务型事实表同步策略
事务型事实表比如交易流水操作日志出库入库记录等。因为数据不会变化而且数据量巨大所以每天只同步新增数据即可所以可以做成每日增量表即每日创建一个分区存储。
3周期型事实表同步策略
周期型事实表比如订单申请等2、数据存储存储的数据包含业务数据和元数据。存储的数据分为四层每一层采用的存储方式和数据不同如下
ODS层原始数据层存放原始数据直接加载原始日志、数据数据保持原貌不做处理目前系统中已经存在。
DWD层结构和粒度与原始表保持一致对ODS层数据进行清洗去除空值脏数据超过极限范围的数据DWD数据采用hive的方式管理将从ODS中的数据同步到hive。
DWS层以DWD为基础进行轻度汇总如将用户的基本信息从各个业务系统中合并为一张宽表此层的数据仍然存储在hive中。
ADS层数据应用也即数据应用开发层通过数据计算层的计算后根据数据类型的不同可以存储到不同的存储器中如文本型查询的数据可以存储的ES中对计算结果的查询可以存储在SqlServer中。 3、元数据管理通过Atlas来管理Hive中的元数据形成元数据目录以此设计出元模型然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起达到企业对数据统一管理与应用的目的。业务元数据相对复杂来源较广泛且不统一需要对业务系统进行深入理解按业务主题进行整理梳理出业务范围、业务名称 、业务定义、业务描述、业务关系等并添加到元数据管理系统中主要作用实现如下
元数据权限管理对数据管理需要有权限的管理员管理是关乎到数据质量的关键。
元数据质量包含元数据一致性检查对异常或者不符合规则的数据告警。
数据血缘分析数据产生的链路或者路径例如通过数据 A 数据 B 产生了数据 C那么 C 的父血缘就是 A 和 B反之亦然。在大数据套件中描述数据“父子”关系以思维导图形式展现了数据变化影响和数据生产溯源清晰刻画表与表之间、任务与任务之间的关系。如图是红楼梦的数据血缘关系。
数据计算数据计算由数据管理员来实现解决的问题根据业务需要对数据融合得出的数据结果。计算层分为离线计算和实时计算。业务流程数据管理人员可以在平台上可视化的对数据处理先创建数据应用集合以及对应的数据表然后在可视化界面上编写数据处理脚本需要提交后台任务管理系统执行执行完成后根据数据要求存储到不同的数据器中。离线计算针对数据量大、逻辑复杂的计算交由后台任务系统调用Hive计算。将计算的结果可以存储到SqlServer或者ES中根据数据需求场景不同而定。实时查询针对业务频繁查询的场景并且数据量大的数据计算完成后可以存储到ES针对统计分析类同时数据量较大可以使用Presto来查询。 任务调度本系统的任务主要对数据同步任务、离线计算等任务管理。数据管理员将数据处理任务可以在线或者离线编辑完成后上传到Azkaban平台执行执行完成后自动同步发布到相关的数据器中并且通知相关人员。数据应用开发业务流程用户(开发人员或者数据分析人员)在平台上申请数据资源并且在平台上可视化选择需要的数据源以及数据字段数据分为业务开发支撑的数据和数据分析。数据管理人员接收到数据集资源申请后处理数据完成后通知用户。数据提供方式数据两种提供方式在线阅览和数据接口。数据建模分析同上业务开发人员需求需要数据仍然向数据管理员申请数据指定需要的数据。数据管理人员在平台上制作数据主题。同时在线的数据分析平台会预置一些数据图表、计算公式等。数据安全在实际业务中尤其是 涉及机密和敏感数据时仅限授权用户访问就至关重要。同时访问是否合理等信息也 需要系统记录下来让管理员可以回溯进一步保证数据安全。平台通过认证 (Authentication)、授权(Authorization)、审计(Audit)三个方面来保证数据安全。认证认证是用户进入系统的第一道屏障。建议采用了 Kerberos 做用户级别的认证。Kerberos 的设计主要针对 client-server 模型基于加密方法建立用户(和系统)识别自己的方法对个人通信以安全的手段进行身份认证用户和服务器都能验证对方的身份。授权平台提供基于角色和个人的访问控制。对 HDFS、Hive 等实现了统一的细粒度的数据访问控制。从数据角度可以查看当前何种角色/何人有何种权限。从角色/个人角度可以查看对哪些数据有何种权限。
3审计 平台为项目安全提供较直观的整体评估和事件跟踪包括实时监测对系统敏感信 息的访问和操作行为根据规则设定报警并及时阻断违规操作收集并记录行为可 检索所有记录提供统计信息五个方面。 监控处理的信息包括用户动作管理员动作两大类。用户动作所有用户的登录 信息对数据、对资源、对服务的访问和操作等;管理员动作管理员对项目、成员等做出的配置等。
管理规范建设
将数据平台的作用和价值最大化靠的是软件和制度规范比如在创建数据表时没有规范的情况下可能会带来数据血缘的杂乱等情况。数据平台管理的规范是一个体系化以下为举例一些规范。
1、数据仓库层次结构规范可分为基本分层结构规范、各层物理表命名规范、数据库对象命名规范等。
2、数据库安全管理规范为了规范管理做好经营分析数据仓库的安全管理工作实现不同的责任人不同的层次将用户权限尽可能的管理起来同时又不影响正常工作需要对数据库进行安全管理如1数据库管理人员由项目经理和数据经理来掌控一般情况下不得使用DBA角色登录数据库。2数据人员使用数据库开发人员角色登录每个数据人员一个用户归属数据库开发人员组。3前台程序开发人员由界面开发人员使用可以查看所有的表但是无法进行DDL操作。
建设经验分享
数据管理平台体系涵盖既包含数据技术平台也包含数据开发、数据模型、数据应用产品。通过建设数据平台建立数据管理和数据应用提现规模化服务业务保证数据质量更大限度的发挥数据价值主要有以下三个方面来保障建设
1、数据同步一致性数据同步过程中的一致性问题主要包含如下几大分类增量一致性、状态变更一致性、数据丢失。
增量一致性一般情况下可以用时间维度或者id来做增量标识。
状态变更一致性如用户更新了个人信息或者订单状态变更最好的办法是同步日志要不然就是根据时间范围批量更新。
数据丢失在传输过程中由于程序错误等情况的发送目前的解决办法分为两种
1发送端以批的形式同时配合事务。2接收端根据不同数据采用不同的规避策略来实现如目的有自增长ID一般是容错后报错提醒。 2、数据实时同步源数据变化捕获是数据集成的起点获取数据源变化主要有三种方式基于日志的解析模式、基于增量条件查询模式、数据源主动Push模式。通常来说采用数据库的日志进行增量捕获应当被优先考虑。能够完整获取数据变化的操作类型尤其是Delete操作这是增量条件查询模式很难做到的不依赖特别的数据字段语义例如更新时间多数情况下具备较强的实时性。
3、数据质量管理不论是数据同步还是数据的使用数据治理至关重要。比如在数据同步过程中出现了不合法的数据格式在源库中存储没有问题同步就会出现一些问题。另外在数据分析时特别是数值分析出现的数值是字符型就无法分析了。数据治理的工作展开主要考虑三个维度模型架构、平台技术和流程规范。
1在模型架构层面依据传统数据仓库的理论是对数据进行分层管理每一层进行相应的业务主题梳理提炼出业务实体、实体之间的关系、实体的业务行为以及这些由业务行为所沉淀出的度量指标。
2在平台技术层面首先要有元数据管理系统其次要有数据血缘追溯系统、数据质量监测系统等这些平台技术可以帮助我们部分实现自动化管理。作为互联网企业业务迭代、表以及字段的增加速度都非常快如果没有好的平台技术支撑消耗的人力成本会非常高。
免责声明本公众号所发布的文章为本公众号原创或者是在网络搜索到的优秀文章进行的编辑整理文章版权归原作者所有仅供读者朋友们学习、参考。对于分享的非原创文章有些因为无法找到真正来源如果标错来源或者对于文章中所使用的图片、链接等所包含但不限于软件、资料等如有侵权请直接联系后台说明具体的文章后台会尽快删除。给您带来的不便深表歉意。
