网站建设网站,有公网ip 如何做一网站,做网站添加mp3,银川专业做网站的公司近年来#xff0c;在证券服务逐渐互联网化#xff0c;以及券商牌照红利逐渐消退的行业背景下#xff0c;中信建投不断加大对数字化的投入#xff0c;尤其重视数据基础设施的建设#xff0c;期望在客户服务、经营管理等多方面由经验依赖向数据驱动转变#xff0c;从而提高…近年来在证券服务逐渐互联网化以及券商牌照红利逐渐消退的行业背景下中信建投不断加大对数字化的投入尤其重视数据基础设施的建设期望在客户服务、经营管理等多方面由经验依赖向数据驱动转变从而提高服务水平和决策效率。因此在公司总部和各分支机构包括经纪、资管、投行等业务部门以及稽核、审计、财务、法务等职能部门对自助分析、多维分析、固定报表和 API 数据服务等形式的用数需求一直在不断增长。#01需求背景为了推动整体数字化建设和数据治理工作中信建投已经在2019年搭建了基于 Apache Hadoop (以下简称 Hadoop体系的数据湖将大量历史数据迁移到 Hadoop 上用 Apache Hive (以下简称 Hive对数据进行加工处理所有的查询计算都通过 Presto 执行。但是该方案在最近两年数据量快速增长、业务场景多样化发展的趋势下逐渐无法适用。具体而言中信建投目前在数据查询分析中主要存在以下痛点和需求1数据加工链路复杂在数据分析的流程上数据部门通常是首先用 Presto 做即席查询再通过 Hive 进行数据加工最后将加工过后的数据下发到各部门的 Oracle 或 MySQL 事务型数据库业务人员在事务数据库里对下发数据进行查询和分析。整个过程需要在三套系统之间进行数据交换且三套系统使用的 SQL 语法也不一致需要不同人员进行开发维护从而产生了多种问题数据开发和维护成本高数据口径可能不一致导致数据应用结果不准确用数需求难以得到及时满足通常要“T1”才能给到数据报表2大数据量下性能不足查询响应慢中信建投目前大部分的数据都存储在 Hive 中业务部门在进行自助分析时通常涉及的相关数据量较大而 Presto 在大数据量、多表关联查询时会出现响应比较慢甚至无法获得查询结果的问题无法满足单表及多表复杂查询场景下响应的及时性。此外 Presto 因为资源隔离不足会出现应用抢占资源的情况不能很好支持高并发的查询请求。3大量实时数据分散在各个业务系统无法进行联合分析由于中信建投内部存在非常多的业务系统各业务系统相互独立且数据会不断更新而这些实时数据无法更新到 Hive 中导致业务数据之间不能及时打通进行联合分析。4缺少预计算能力加速固定查询固定报表和 API 数据服务为各业务提供包括数据汇总结果、明细查询、数据接口在内的多项能力而基于固定数据查询的可视化报表通常数据查询量大、计算维度较多一个看板页面涉及大约一两百个 SQL 语句整体运算效率低下。针对这种情况中信建投希望通过预计算实现查询加速并且要求开发工作轻量化且资源消耗较低。#02引入 StarRocks 构建统一查询服务平台通过综合对比数据库即席查询、实时分析性能、预计算能力、数据联邦技术并且结合中信建投已经在 Hadoop 体系中有大量投入不希望做大规模数据搬迁的具体情况将 Hive 外表查询支持、SQL 语法及函数的兼容性等方面纳入选型考虑中信建投最终选择引入 StarRocks 来构建统一的查询服务平台满足各部门的用数需求。作为一款高性能全场景的分析型数据库StarRocks 使用 MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的外部数据源高效导入数据也支持不做数据转储便可直接通过外表形式分析查询数据湖的数据统一的 SQL 交互将数据分析结果或物化视图预计算结果分发到各个数据应用为中信建投实现了三套系统使用功能的整合以及数据应用流程的简化。具体而言针对中信建投的痛点问题StarRocks具备如下优势1在性能方面针对大规模数据下自助 BI 敏捷高效的需求StarRocks 向量化执行引擎全面实现了 SIMD 指令保证查询和向量化导入可以充分利用单机单核 CPU 的处理能力StarRocks 自研的 Pipeline 执行引擎使得 StarRocks 可以应对更高的并发查询充分利用单机多核 CPU 的处理能力与此同时可以更优雅的进行 CPU 时间分片调度从而实现资源隔离的功能StarRocks 采用大规模并行处理MPP架构可以充分利用多机多核的集群资源保证查询性能可以线性扩展并用基于成本的优化器 CBO、Runtime Filter、延迟物化、全局低基数字典等多种⼿段实现极致查询性能。2在外部表联邦查询方面StarRocks 可通过创建外部表的⽅式在 StarRocks 读取其他数据源如 MySQL, Elasticsearch , Apache Hive 等外部表中的数据从⽽打破数据的隔离。以 Hive 外表功能为例中信建投可以将其 Hive 中的离线数据导⼊ StarRocks 中进⾏⾼性能分析查询。同时StarRocks 也可以支撑湖仓一体联邦分析将离线数据与实时数据进⾏关联打通不同数据存储间的壁垒从⽽⽀撑业务分析时在数据湖中进⾏数据探查和极致分析的需求。3在预计算方面为了实现固定报表的加速StarRocks 引入预计算的手段通过创建单表物化视图在保证明细查询的同时可以加速聚合指标查询通过多表物化视图、外表物化视图等方式提供更灵活的按需建模能力复用常见查询有效优化了复杂 SQL 计算效率满足用户对固定维度聚合分析以及原始明细数据任意维度分析的多样需求。#03落地后的效果与价值1大数据查询性能得到显著提升采用 StarRocks 内部表加速明细数据关联查询实现了上亿级别数据量大表关联秒级响应内表查询效率提升10倍以上外表查询效率提升1倍以上完全满足大数据量下查询分析及时响应的需求2预计算能力降低了固定报表加工成本采用 StarRocks 预计算能力可以将固定报表和 API 数据服务响应速度提升1倍以上。多表物化视图、外表物化视图、Query Rewrite 等高阶功能可以有效降低数据建模成本使得“直面分析按需加速”成为可能。3降低数据迁移成本提升数据管理和使用效率StarRocks 基于 Hive 外表做查询减少了底层数据的迁移成本并实现了实时数据联通分析。同时以 StarRocks 为统一数据服务入口降低了整体数据查询和加工的复杂度提升了数据管理和使用效率。#04项目经验总结中信建投进行数字化转型过程中已经部署了大部分的数据基础设施但是已有的基于 Hadoop 构建数据湖的体系在近两年来暴露出众多问题已经无法匹配业务的发展速度。中信建投基于自身业务需求和已有技术架构情况选择以 StarRocks 构建统一数据服务入口的实践为同类型券商企业提供了以下经验建议1分析型数据库的选型需要充分考虑企业自身的用数需求以及现有数据平台的技术架构选择符合自身实际情况的数据库是获得较好的落地效果的关键。例如中信建投大部分的数据都存储在 Hive 中StarRocks 提供的类 Presto 的外表查询功能可以避免数据迁移增加的额外成本同时也很好地满足了公司的用数需求。2随着企业数据库规模不断增长以及分析场景更加复杂分析型数据库需要不断提升数据查询分析的性能以及针对固定报表、自助 BI 等各种应用场景提供场景化解决方案、生态工具才能满足用户在数据查询分析方面功能和性能的复杂需求。-关于StarRocksStarRocks 是数据分析新范式的开创者、新标准的领导者。面世三年来StarRocks 一直专注打造世界顶级的新一代极速全场景 MPP 数据库帮助企业建立“极速统一”的湖仓新范式是实现数字化转型和降本增效的关键基础设施。StarRocks 持续突破既有框架以技术创新全面驱动用户业务发展。当前全球超过 200 家市值 70 亿元以上的头部企业都在基于 StarRocks 构建新一代数据分析能力包括腾讯、携程、平安银行、中原银行、中信建投、招商证券、众安保险、大润发、百草味、顺丰、京东物流、TCL、OPPO 等并与全球云计算领导者亚马逊云、阿里云、腾讯云等达成战略合作伙伴。拥抱开源StarRocks 全球开源社区飞速成长。截至 2022 年底已有超过 200 位贡献者社群用户近万人吸引几十家国内外行业头部企业参与共建。项目在 GitHub 星数已超 3800 个成为年度开源热力值增速第一的项目市场渗透率跻身中国前十名。
