商城建站,seoul是哪个国家,网络销售 市场推广,网站建设手机端官网简介 数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据#xff0c;并将其组织成易于查询和分析的结构。 数据仓库的主要目标是提供高性能的数据访问和分析能力#xff0c;以便…简介 数据仓库是一个用于集成、存储和管理大量数据的系统。它用于支持企业决策制定过程中的数据分析和报告需求。数据仓库从多个来源收集和整合数据并将其组织成易于查询和分析的结构。 数据仓库的主要目标是提供高性能的数据访问和分析能力以便用户可以从不同的角度和层次上理解和解释数据。它通常包含历史数据用于支持趋势分析和预测模型的建立。 数据仓库不仅仅是一个存储数据的地方它还提供了一系列工具和技术来支持数据清洗、转换、集成和加载等过程。这些过程通常被称为ETL抽取、转换和加载用于将原始数据从各种源系统中提取出来并将其转换为适合分析和报告的格式。 通过数据仓库企业可以更好地理解自己的业务和客户行为发现潜在的商业机会改善运营效率并制定更明智的决策。它在各种行业和领域都被广泛应用例如零售、金融、医疗保健和制造业等。
OLAP和OLTP OLAP联机分析处理和OLTP联机事务处理是两种不同的数据处理方式用于支持不同的业务需求。 OLAP是一种面向分析和决策支持的数据处理方式。它主要针对复杂的查询和多维度的数据分析并提供灵活的数据切片、钻取和汇总等功能。OLAP系统通常基于多维数据模型例如星型模型或雪花模型它们使用聚集技术和预计算来提供高性能的查询响应。OLAP适用于需要进行复杂数据分析、报告和决策制定的场景如销售分析、业务智能和预测模型等。 OLTP是一种面向事务处理的数据处理方式。它主要关注数据的录入、修改和查询等操作以支持日常业务的进行。OLTP系统通常基于关系型数据库用于处理实时的交易和业务流程。它的目标是提供高并发性、数据一致性和事务处理能力。OLTP适用于需要处理大量事务、保证数据准确性和实时性的场景如在线银行交易、订单处理和库存管理等。 总结来说OLAP适用于复杂的分析和决策支持强调对数据的多维度切片和聚合分析而OLTP适用于日常的事务处理强调对数据的录入、修改和查询操作。在实际应用中两者通常结合使用以满足不同层次和类型的数据处理需求。
特征
面向主题 主题是一个抽象的概念是较高层次上 数据综合、归类并进行分析利用的抽象集成性 主题相关的数据通常会分布在多个操作型 系统中彼此分散、独立、异构。需要集 成到数仓主题下 非易失性 也叫非易变性。数据仓库是分析数据的平台而不是创造数据的平台。时变性 数据仓库的数据需要随着时间更新以适 应决策的需要
分层 数据仓库为什么要分层
把复杂问题简单化每一层只处理简单的任务方便定位问题 减少重复开发规范数据分层通过中间层数据能够减少重复计算且增加计算结果的复用性 隔离原始数据不论是数据的异常还是数据的敏感性使真实数据与统计数据解耦开。
DW五层架构的特点
细化DW建模对DW中各个主题业务建模进行了细分每个层次具有不同的功能。保留了最细粒度数据满足了不同维度、不同事实的信息 满足数据重新生产不同层次的数据支持数据重新生成无需备份恢复解决了由不同故障带来的数据质量问题消除了重新初始化数据的烦恼 减少应用对DW的压力以业务应用驱动为向导建模避免直接操作基础事实表降低数据获取时间 快速适应需求变更和维度变化明细基础数据层稳定适应前端应用层业务需求变更所有前端应用层模型之间不存在依赖需求变更对DW整个模型影响范围小能适应短周期内上线下线需求。 ODSOperational Data Store原始数据层
数据准备区也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份以此减少对业务系统的影响也是后续数据仓库加工数据的来源。业务DB基本上是直接同步过来LOG主要做结构化。
ODS层数据的来源方式
业务库 可使用Sqoop来抽取例如每天定时抽取一次 实时接入考虑用canal监听MySQL的binlog Flume、Sqoop、Kettle等ETL工具导入到HDFS并映射到HIVE的数据仓库表中。 埋点日志 日志一般以文件的形式保存可以选择用Flume定时同步 可以用Spark Streaming或者Flink来实时接入 Kafka。 消息队列 来自ActiveMQ、Kafka的数据等。 1.3.2 建模方式及原则 从业务系统增量抽取 保留时间由业务需求决定 可分表进行周期存储 数据不做清洗转换与业务系统数据模型保持一致 按主题逻辑划分。 针对HDFS上的用户行为数据和业务数据我们如何规划处理
保持数据原貌不做任何修改起到备份数据的作用 数据采用压缩减少磁盘存储空间 创建分区表防止后续的全表扫描。
DWDData Warehouse Detail明细数据层
DWD是业务层与数据仓库的隔离层主要对ODS数据层做一些数据清洗去除空值、脏数据、超过极限范围的数据、规范化、维度退化、脱敏等操作。
1.4.1 建模方式及原则 需要构建维度模型一般采用星型模型呈现的状态一般为星座模型由多个事实表组合维表是公共的可被多个事实表共享 为支持数据重跑可额外增加数据业务日期字段可按年月日进行分表用增量ODS层数据和前一天DWD相关表进行merge处理 粒度是一行信息代表一次行为例如一次下单。 1.4.2 维度建模步骤 选择业务过程在业务系统中挑选感兴趣的业务线比如下单业务支付业务退款业务物流业务一条业务线对应一张事实表。如果是中小公司尽量把所有业务过程都选择。如果是大公司1000多张表选择和需求相关的业务线。 声明粒度数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。声明粒度意味着精确定义事实表中的一行数据表示什么应该尽可能选择最小粒度以此来应各种各样的需求。典型的粒度声明如下订单当中的每个商品项作为下单事实表中的一行粒度为每次。每周的订单次数作为一行粒度为每周。每月的订单次数作为一行粒度为每月。如果在DWD层粒度就是每周或者每月那么后续就没有办法统计细粒度的指标了。所以建议采用最小粒度。 确定维度维度的主要作用是描述业务是事实主要表示的是“谁何处何时”等信息。确定维度的原则是后续需求中是否要分析相关维度的指标。例如需要统计什么时间下的订单多哪个地区下的订单多哪个用户下的订单多。需要确定的维度就包括时间维度、地区维度、用户维度。维度表需要根据维度建模中的星型模型原则进行维度退化。 确定事实此处的“事实”一词指的是业务中的度量值次数、个数、件数、金额可以进行累加例如订单金额、下单次数等。在DWD层以业务过程为建模驱动基于每个具体业务过程的特点构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。 注意DWD层是以业务过程为驱动。DWS层、DWT层和ADS层都是以需求为驱动和维度建模已经没有关系了。DWS和DWT都是建宽表按照主题去建表。主题相当于观察问题的角度。对应着维度表。
DWSData Warehouse Service服务数据层
DWBdata warehouse base 数据基础层存储的是客观数据一般用作中间层可以认为是大量指标的数据层。 以DWD为基础按天进行轻度汇总。粒度是一行信息代表一天的行为例如一天下单次数。
1.5.1 功能 DWB是根据DWD明细数据经行清晰转换如维度转代理键、身份证清洗、会员注册来源清晰、字段合并、空值处理、脏数据处理、IP清晰转换、账号余额清洗、资金来源清洗等 DWS是根据DWB层数据按各个维度ID进行粗粒度汇总聚合如按交易来源交易类型进行汇合。 1.5.2 建模方式及原则 聚合、汇总增加派生事实 关联其它主题的事实表DW层可能会跨主题域 DWB保持低粒度汇总加工数据DWS保持高粒度汇总数据 数据模型可能采用反范式设计合并信息等。
DWTData Warehouse Topic数据主题层
以DWS为基础按主题进行汇总。粒度是一行信息代表累积的行为例如用户从注册那天开始至今一共下了多少次单。
1.6.1 功能 可以是一些宽表是根据DW层数据按照各种维度或多种维度组合把需要查询的一些事实字段进行汇总统计并作为单独的列进行存储 满足一些特定查询、数据挖掘应用。 1.6.2 建模方式及原则 尽量减少数据访问时计算优化检索 维度建模星型模型 事实拉宽度量预先计算 分表存储。
ADSApplication Data Store数据应用层
面向实际的数据需求同步到关系型数据库服务RDS。该层主要是提供数据产品和数据分析使用的数据一般会存储在ES、mysql等系统中供线上系统使用。我们通过说的报表数据或者说那种大宽表一般就放在这里。为应用层这层数据是完全为了满足具体的分析需求而构建的数据也是星形结构的数据。应用层为前端应用的展现提现数据可以为关系型数据库组成。
1.7.1 功能 ST层面向用户应用和分析需求包括前端报表、分析图表、KPI、仪表盘、OLAP、专题等分析面向最终结果用户 适合作OLAP、报表模型如ROLAP、MOLAP 根据DW层经过聚合汇总统计后的粗粒度事实表。 1.7.2 建模方式及原则 保持数据量小 维度建模星形模型 各位维度代理键度量 增加数据业务日期字段支持数据重跑 不分表存储。 1.8 其他层 数据缓存层用于存放接口方提供的原始数据的数据库层此层的表结构与源数据保持基本一致数据存放时间根据数据量大小和项目情况而定如果数据量较大可以只存近期数据将历史数据进行备份。此层的目的在于数据的中转和备份。 临时数据表层存放临时测试数据表Temp表或者中间结果集的表。
