备案怎么关闭网站,关键词统计工具有哪些,网页设计模板免费下载田田田田田田田田田田,电子商城是什么意思在现代企业中#xff0c;随着对技术的依赖日益加深#xff0c;空间数据的重要性愈发显著。它通过结合地理成分#xff08;如纬度、经度、地址、邮编等#xff09;与业务数据#xff0c;成为解决复杂问题的重要工具。地理空间数据可从多种来源获取#xff0c;例如卫星影像…在现代企业中随着对技术的依赖日益加深空间数据的重要性愈发显著。它通过结合地理成分如纬度、经度、地址、邮编等与业务数据成为解决复杂问题的重要工具。地理空间数据可从多种来源获取例如卫星影像、传感器网络和现场调查广泛应用于优化业务流程、提升效率及推进智慧城市建设。无论是优化门店选址、提升物流配送效率、推动智慧城市建设地理空间数据的高效处理都能极大地提升数据价值。
在 Data Infra 第 23 期活动中我们邀请到沈阳尚源智慧科技有限公司 研发工程师 陈翔和 Databend 研发工程师白珅共同解析如何基于 Databend 构建云上的时空大数据仓库分析平台。
白珅Databend 在地理空间数据处理中的优势与实践
地理信息系统是一门综合性的学科结合了地理学地图学和计算机科学等知识对地理空间数据进行分析和处理。它主要的作用是将地图和数据进行整合不仅能显示位置信息还能显示位置相关的一些属性可以帮助我们理解在什么地方发生了什么事以及为什么发生从而去解决实际的问题。 一个地理信息系统主要包含四个模块
数据采集。 从各种数据来源获取数据包括卫星传感器等数据存储。 将数据以一种结构化的方式存储在数据库或者本地文件中数据分析 。 对存储后的数据做各种空间相关运算例如距离测试、面积测算等数据可视化。 将地理数据以地图或者图形化的方式展现出来方便用户理解数据价值。
地理信息系统的应用场景 地理信息系统与我们的生活息息相关在市政、商业、生活各个场景中应用非常广泛
城市规划 用地理信息系统分析土地的利用情况交通流量辅助做城市规划环境监测 监测污染和自然灾害对环境保护提供支持商业选址 分析竞争对手的分布情况辅助商业决策出行导航 提供最佳路径规划找到附近的餐厅等。
Databend 对地理数据类型的支持
数据库是地理空间系统中的核心组成部分负责存储和分析地理数据。没有高效的空间数据库地理信息系统就无法发挥其强大的空间分析和可视化能力。Databend 在 11 月份的最新更新中新增了对地理空间数据类型 Geometry 和 Geography 的支持并提供丰富的空间函数可以满足处理空间数据分析的各种需求。
同时Databend 本身作为一个高性能云原生数仓对地理数据类型的支持具有显著优势。
高性能 Databend 基于列式存储和向量化执行引擎能够高效地处理海量空间数据
云原生架构 Databend 能够轻松部署到云环境具有良好的扩展性能够适应不同规模的应用
成本效益 云原生架构和高效的处理能力能够降低系统的总体拥有成本TCO
易于集成 提供标准的 SQL 接口方便与各种软件和工具集成降低开发维护成本。
Geometry 几何数据类型 Geometry 几何类型是一种用于表示平面几何对象的数据类型它使用笛卡尔坐标系 x,y可以存储各种点、线、面、多边形的几何图形对象适用于在投影坐标系以下的空间数据。它主要的用途是展示城市的建筑物、道路或者公公园等信息。 Geometry 几何对象主要包含以下几种类型
点是最常用的可以表示城市中的一个坐标系或者一个位置线可以表示像道路或者河流等有一定分布的数据面通常用来表示建筑物或者一些行政区划之类的数据多点多线多面是可以在一个数据里面表示多个位置集合的数据就是可以混合各种类型的数据。 Geometry 的数据存储格式通常有三种
WKTWell-Know Text 一种文本格式的数据比较适合人阅读
WKB Well-Know Binary 它是对 WKT 格式做的扩展在 WKT 的基础上增加了一个 SRID 来表示它的坐标系。 WKB 是一种二进制的格式比 WKT 更加紧凑适合于存储在数据库中。同时它也有对应的 EWKB 的扩展
GeoJSON 主要适合与前端进行交互 javascript 经常会使用这种类型。它也支持对数据类型做一些扩展可以存储扩展的属性信息。 Geometry SRID 坐标系是 GMT 类型它是一个 x,y 的坐标只有在一定的坐标系中才能展示真正的实际位置。我们常用的坐标有 4326 和 3857。4326 就是 WGS 84 的坐标它是一种经纬度坐标系经度是负 180 度到正 180 度纬度是负 90 度到正 90 度通常 GPS 就会使用这个坐标3857 是墨托卡莫卡托投影会把地图由球面映射成一个平面。它是在地图中广泛使用的一种坐标系单位是米。 Geometry 类型还支持了非常多的函数可以对数据进行各种操作和分析为数据分析提供了一个强大的工具我们可以从这些数据中提取出一些有价值的信息。函数主要分为如下几类
构造函数。 用来将一些原始的数据构造出一个类型。例如构造多面形多边形或构造线型的数据输出函数。 按照各种输出格式输出 Geometry 对象关系函数。 判断它们之间的是否相交或者是否包含属性函数。 就是计算它的属性包括面积、距离等等转换函数。 转换对象的坐标系SRID。
Geography 地理数据类型 Geography 数据类型是用来表示在地球球面上的地理位置和形状。它主要基于球面坐标系经度和纬度更适合于处理全球范围内的空间数据例如国家和洲际航线。Geography 支持的几何类型和存储格式也是 WKT、WKB 和 GeoJSON 这几种。 Geometry 和 Geography 的区别可以从以下几个方面来看
Geometry 是平面坐标系而 Geography 是球面坐标系Geometry 计算方式是平面计算可能会有一些误差比较适合局部小区域的计算。而 Geography 计算方式是用球面考虑了地球的区域所以适合大范围有更高的精度使用场景方面Geometry 适合城市规划Geography 适合全球导航、气候建模洲际交通。用户可以根据实际的需要来进行选择。
Databend 地理数据类型的应用 目前在 Databend 内地理信息类型数据还是一个实验性质的功能所以在使用之前需要使用 enable_geo_create_ table 打开配置才可以在建表时使用这个数据类型。我们先建一个 location 的表然后插入一些测试的数据。 用 Geometry 函数可以进行一些函数计算。例如计算面积我们可以看到图中几个地方的面积都是和实际情况对应的。然后还可以计算距离这里选择了计算到天安门的距离。最后一个例子是进行一个函数的计算判断判断这个点是否在这个多边形之内。更多的函数可以参考 Databend 的相关文档。 这里写了一个小的 demo已经开源在 Github 上。里面用到的技术栈有 leafletjs一个前端的地图 JS 库比较适合于创建轻量级的外部地图应用。地图数据使用了 maptilerWeb 框架用了 rocket数据仓库是 Databend。大家如果感兴趣可以在 GitHub 上查看相关代码。 陈翔基于 Databend 构建云上时空大数据仓库分析平台
沈阳尚源智慧科技有限公司在智慧市政和智慧工厂领域拥有超过 20 年的经验并积累了超过 10 年的云计算和大数据技术实践。公司隶属于华立股份其核心团队成员来自多家知名企业和高校包括东北大学超算中心、百度、东软、神州数码、浪潮等。
由于积累了多年的行业经验尚源智慧深刻认识到市政行业的 IT 建设普遍薄弱行业内虽具备丰富的业务知识但技术水平仍有提升空间。所以公司一直以构建数字化平台为目标致力于通过低代码、无代码方式降低市政行业的应用门槛专注于工业互联网平台和空间信息技术研发提供智能工厂和智慧市政整体解决方案及技术服务。
解密时空数据
提到时空数据很多人可能并没有一个相对直观的感受。我们来举例说明一下在市政管道巡检中一名工作人员忽然发现某个管道漏气然后拍了一张隐患照片。这张照片里其实就包含了很多时空数据例如拍摄时间拍摄地点的 GPS 位置拍摄位置与附近地标的关系如某个公路附近或某个小区附近拍摄人身份所属组织排班计划照片像素拍摄设备以及关联的流程审批状态隐患处理操作步骤等其他业务数据。时空数据是结合时间、空间和业务属性的多维数据类型它广泛应用于市政、工业和智慧城市等领域。 行业内主要关注的地理空间数据有矢量和光栅两种
光栅数据是由统一网格上定义的值如图像表示的数据。光栅数据可以由多个频段组成这些频段代表不同的数据。上图左侧是很常见的卫星图像就是一个光栅类数据矢量数据也称为特征数据由平面几何形状表示的数据 如点、 线条、 多边形或它们的组合。特征类数据比较常用的格式有 GeoJson、WKT/B、 Shape 等。一般情况下我们在数据处理过程中常用的是 GeoJson 形式。
时空数据根据其内容和结构可以划分为以下主要类型 半结构化数据 半结构化数据是我们比较熟悉的例如 JSON、CSV、xml。在半结构化数据使用上有一点需要注意是一个叫路径查询的概念。当你用 JSON 时会听到一个 json path 的概念通过 json path 我们就可以找到 json 下某一个节点的数据它有一套专门的语法。 时序数据 时序数据基本都是以时间戳值的形式绑定在一起在市政、工业行业领域里用的比较多。典型代表就是 SCADA/ PLC 设备数据或物联网数据以及 pH/压力/温度传感器数据。时序数据会随着时间的增长不断产生所以在存储时需要有一个高压缩比的数据压缩形式否则数据会很占磁盘使用空间。在计算方面很常用的是时间窗口函数 要计算一定时间内的数据变化或是做一些统计值比如均值最大值最小值移动平均值。 空间数据 一般情况下空间数据定义的字段类型是 Geometry。它代表的数据类型是点、线、高程。空间计算函数常见的有计算空间距离、空间长度两点之间有多个线段相连怎么计算最短路径。 非结构化数据 定义非结构化数据基本前面那些数据之外的数据类型如视频、音频和文件应用场景记录巡检过程的影像或语音数据。
时空数据技术应用 趋势变化分析像素级别 基于以上介绍的时空数据综合起来我们可以做一些时序数据的趋势变化分析。例如一个卫星图像在同一个地点不同时间下除了图像上的变化还包括温度的变化人口密度的变化等等。这些数据整合在一起就是一个多维的趋势变化分析场景。 空间索引 假设有一个点我们想知道已有的数据集里哪些数据离这个点最近。正常情况下我们不可能把所有数据全搜索一遍去找这个点到底在哪行。这时就需要使用到一个叫“空间索引”的概念下面是一些常用的空间索引形式R-Tree相当于 B-Tree 索引的空间版本适用于复杂空间关系计算Geohash 和 S2 这种索引其实就是将二维的经纬度转换成字符串的四叉树线性索引适用于点数据。这种索引易于实现方便临近搜索场景和水平扩展H3是 S2 ****的升级版本 由于 Georgehash 是编码纬度和经度对而不同纬度的面积会存在显著差异如极点附近的经度代表的距离比赤道附近的经度要小得多这样就造成比较大的误差。在常用的地理范围查询中基于矩形的查询方法存在 8 邻域到中心网络的距离不相等问题。 Uber 提出了一个叫 H3 的空间索引它提出了一个六边形的方式。由于四边形存在两类长度不等的距离而六边形的周围邻居到中心网络的距离却是有且仅有一个。
传统 GIS 服务 ArcGIS
ArcGIS 是一个在 GIS 领域里耳熟能详的商用 GIS 软件支持高级地理分析、地图制图和可视化有着广泛的生态系统有 Online 版本和 Pro 版本可以提供一些定制化的功能。 QGIS
QGIS 是免费开源的 GIS 软件主要针对教育调研、小型项目可以在一些简单场景中作为替代方案。 PostGIS
PostGIS 是一个 PG 的空间插件可以在数据库层级做 SQL 级别的空间处理分析。如果你的数据库是 PostgreSQL想快速支持空间能力基本都会基于 PostGIS 做二次开发或是套壳。 OpenLayers
OpenLayers 是一个前端展示的 GIS 方案用于构建交互式 web 地图的开源 JS 库支持多种数据源如 WMS、GeoJSON用于空间数据的分析展示。
云原生 GIS 平台的架构设计
以上介绍的是一些传统的 GIS 应用服务如果你想构建一个真正的云原生的 GIS 平台服务尚源智慧也提供了一套参考架构 PMTiles PMTiles 是一个 Serverless 的空间加载技术可以做流式数据加载。我们把空间数据文件或多条目数据放在云存储上后它可以基于所要定位的空间区域按照 offset 偏移量去加载内部的一份数据可以避免整体的数据传输。在传统的 GIS 方案里通常会把整体数据加载到内存里或浏览器里展现速度会很慢。 Zarr Zarr 是一个云原生格式的多维数据立方体可以替代 HDF5 或 NetCDF它的数据是可以放在对象存储上的。 DuckDB DuckDB 是近几年比较火的数据库可以做一些 OLAP 分析它的分析能力比较强性能非常高。它可以在浏览器端使用可以直接读取 S3 或其他平台的数据。同时它对于时间窗口函数或空间函数支持程度非常高。 时空资产目录
过去GIS 厂商和相关产品主要关注在处理光栅和特征数据 但是对于“时空大数据”来说 不应该把数据类型限制在这两种上。 我们需要一种真正的非数据类型相关方法来查看时空数据对数据仓库和数据湖的数据做时空特征标注和分析。对此国内外也研究了很多方法 我们选择了时空资产目录 (STAC)规范。
STAC 通过添加 assets 来扩展这一概念。asset 是一些与功能具有相同时空范围的远程或本地文件或服务。它是在 GeoJSON 上面加了一些资产的形式数据除了位置外也有本身的属性。比如一张照片可能会关联具体时间的相关内容。它会有一些具体的资产性质描述把整个数据完善起来。 STAC 是一个开源项目不仅定义了一些规范还按照这套规范做了一些实验。每一个时空资产目录都会配套对应的 Rest API用于方便地访问该时空资产。API 可以支持多语言实现可以用 Java、Go、Python 做一些提供服务。这些资产目录可以作为服务部署在云上面或不同的单机上去使用。此外它还提供了一些比较开放的数据集供大家参考使用。 时空数据建模 时空数据建模主要分为对象建模和连接建模对象建模比较简单。连接建模就是如何建立两个对象之间的关系。时空数据的关系错综复杂一个是层级化的一个是网络化的。 时空语义分析 上图左边的是时序数据分析比如按时间查询按窗口函数处理右边是空间数据分析有一些空间数据分析函数。例如空间关系有一些相交临近如点线面之间的关系情况。时态的关系是本身的空间数据与时间对比是相邻还是包含。 时空聚合处理 时空聚合是根据空间、时间和属性关系或这些关系的某种组合将一个图层的属性连接到另一个图层。把时空数据聚合在一起有一个关键词叫时间步长。这里面有几个元素第一个是时长就是分析多长时间之内的数据。第二个是时间的间隔就是重复的间隔每多少小时为一个频度数去分析这个数据。第三个是参考时间在一些特定的分析场景用到。 Asof Join ASOF 也可以称作截止关联它的作用是找对应基准时间相邻的最近一个数据。在一个真实生产场景里有很多传感器我们不可能保证每个传感器都在相同时间内发来数据。它会有相同的时间频度间隔但是说因为传感器可能内置的启动时间不一样内置的时钟不一样导致它发送过来的时间都会有轻微的偏差。用 ASOF 语义相当于定义好一个基准时间然后找每一个传感器与这个基准时间相邻范围内最近的时间作为标准参考值。
云原生 GIS 平台的构建方向
随着云原生技术的发展构建高效、灵活的 GIS 平台成为时空数据应用的重要目标。尚源智慧结合 Databend 的技术实践为云原生 GIS 平台的设计提供了关键方向 存储层基于 Databend 的列式存储和空间索引技术支持海量空间数据的高效管理渲染层结合 Deck.gl 和 Maplibre 提供高性能的 WebGL 渲染能力满足地理数据可视化需求分析层通过 DuckDB 进行轻量级 OLAP在线分析处理支持远程和流式数据加载。
云原生 GIS 平台的核心特点
无服务化架构基于 Georgeparquet 存储的压缩比比较好性能也会高一点。经过实验60万的数据仅需 28M 就可以完成以流式 http 数据范围加载所需数据通常严重依赖范围请求所以 Databend 需要添加空间索引加载了本地高性能分析型数据库 DuckDB使用了最新的 WebGL 高性能渲染本地 GIS 制图表达空间展示的技术栈。
在实际项目中尚源智慧还对时空数据的处理与渲染进行了深度优化大大提升了体验流畅度与整体平台效率。
Maplibre 和 Duck.gl 双渲染引擎优化 1. 尚源智慧基于 Maplibre 和 Duck.gl 双渲染引擎的优势满足了图层预览、图层编辑和大数据分析等不同场景。与之前的基于桌面化或服务器化的分析技术相比效率大大提升能够处理大量数据并提供流畅的用户体验。
优化时空数据处理流程 1. 时空数据的处理流程如上图首先将原始数据抽取到数据仓库内在 Databend 上做空间索引进行数据转化后将数据提供给上层应用进行数据可视化。
基于新版 GIS 的供排水管网模型 1. 基于旧的水力模型架构存在很多弊端如仿真数据需要在云端计算之后再在浏览器上做渲染交互比较复杂。且由于基于旧的 GIS 前端技术渲染率性能较差基于新版 GIS 技术栈做调整后满足了水力模型新的需求如简化的制图表达基础的官网编辑弱化了一些不必要的元素如建筑物提高了专题图表达和渲染性能百万级别点线的渲染能力高效实时的数据统计分析能力。新版 GIS 技术栈将整个管网模型做了本地化减少了计算结果与云端的交互显示速度快了很多。同时将数据计算和处理从 GIS 格式wkb/wkt/geojson转换成云原生技术栈提升了整体管网模型效率。
数据仓库建设的三阶段演进
数据仓库是地理空间系统中的核心组成部分负责存储和分析海量的地理数据。尚源智慧的数据仓库建设经历了从传统开源大数据技术栈到云原生数据仓库的三个阶段每个阶段都对应着不同的技术需求与实现策略。
第一阶段开源大数据全家桶 2018-2019 年期间大数据技术在国内迅速普及尚源智慧基于开源大数据技术栈构建了首版数据仓库平台。这一时期的解决方案主要依赖 Apache 生态系统的技术组件通过整合各类工具实现完整的大数据处理链条。
底层存储与计算HDFS 和 Hive 作为核心存储层Spark 和 Flink 提供批处理及流式计算支持数据治理与可视化Atlas 实现数据血缘追踪Ranger 管理数据权限Superset 负责数据可视化组件集成引入 Airflow 进行调度管理结合 Kafka 提供消息队列服务Alluxio 作为缓存加速层。
技术难点
这种“大数据全家桶”式方案虽然功能齐全但组件繁多集成复杂且在部署与运维过程中耗费了大量资源。特别是在解决实时更新和高效删除操作时传统的 Hadoop 生态组件表现出了明显的不足。
第二阶段湖仓一体化上云 随着业务需求增长和技术发展尚源智慧开始将大数据平台迁移至云端并逐步采用湖仓一体化架构以提高计算效率和降低运维成本。
云原生架构基于 KubernetesK8s构建资源管理平台引入 Spark Operator 等工具实现弹性计算数据湖优化采用 Apache Hudi 作为数据存储引擎通过支持高效更新、删除操作解决 Hadoop 生态的技术短板元数据管理在数据治理层生成双分支结构一部分服务传统大数据处理需求另一部分作为数据资产服务分支专注元数据与血缘管理。
此外团队还采用了 Hive On MR3 技术。这是一套基于 K8s 的调度方案与传统的 Hive 在兼容性和计算效率上都有显著提升为云上的大规模数据处理奠定了基础。
第三阶段云原生数据仓库 过去两年间尚源智慧逐步将数据仓库架构从传统 Hadoop 生态迁移至云原生数据仓库并选择 Databend 作为核心引擎。 数据仓库选型 数据仓库采用 Databend充分利用其弹性扩展和高效处理能力。实时计算层计划引入 Risingwave满足实时分析需求。数据挖掘与分析任务主要由 Pandas 处理当单机性能不足时通过迁移至 Dask 实现分布式调度。 数据编排工具 提供低代码/无代码的开发平台用户可通过拖放方式轻松构建数据流、创建模型和进行数据处理支持实时处理与批处理的混合开发不同数据处理节点可按需选择计算引擎避免开发过程割裂提供调度审计、异常重试等功能提升数据任务的管理效率。
工业时序数据处理
工业领域的数据以时序数据为主更新频繁且数据量大。在最初的使用中团队发现直接将时序数据存储在 Databend 中会导致快照膨胀问题需要频繁清理过期数据。对此尚源智慧对架构进行了优化 ODS 层剥离 将原有 ODS 层数据单独存储于 TimescaleDB这是基于 PostgreSQL 的时序数据库适配团队的整体技术栈。 冷热数据分层 热数据频繁访问的数据存储于 SSD用于近期分析如趋势计算、平均值统计等冷数据历史归档数据作为冷数据存储通过 Databend 的冷热桶功能实现自动切换与快照清理。
这一优化显著提升了时序数据的存储效率并简化了运维流程。
基于 Databend 的指标建模
在基于 Databend 的数据仓库中尚源智慧设计了分层指标建模体系解决了数据清洗与计算中的复杂性问题。 明细层数据清洗与转化 数据在从 ODS 层引用时可能存在格式不规范等问题。明细层通过清洗和转化生成更为标准化的数据。 汇总层统计与计算 转化后的数据按时间或维度进行统计支持按天、区域等多维度的综合分析。 复合指标计算 一些关键指标需要结合外部数据进行加权计算。团队通过复合指标模型完成计算并将结果更新至汇总层。 数据宽表生成 最终的指标以宽表形式提供给业务应用层支持 BI 大屏、报表和其他数据可视化应用。
通过 Databend 的灵活架构与强大功能尚源智慧实现了从传统大数据架构到云原生数据仓库的顺利过渡显著提升了工业领域时空数据的存储、分析与应用能力。
代表性项目天津水务集团智慧水厂 尚源智慧的智慧水厂项目融合了物联网、大数据技术为水厂提供了一整套智能化解决方案包括
水质检测与自动化控制能耗与管网运行分析智能客服与数字化运营。
该项目还通过数据平台支持 BI 大屏、驾驶舱及报表等数据可视化功能为行业提供了卓越的技术支持与应用效果。
社区协作与未来展望
尚源智慧与 Databend 都非常推崇开源技术从建立第一天起就坚持积极贡献开源。双方在社区层面保持了密切合作共同推进地理空间数据处理技术的发展。
技术贡献尚源智慧为 Databend 的地理空间功能开发提供了多项支持包括空间函数的补全、类型优化和连接性能提升应用集成在内部项目中尚源智慧基于开源项目如 Apache Hudi、Superset、Kubeedge构建了多个行业解决方案并为社区提供了相关技术成果。
Databend ⽀持 Geometry 和 Geography 类型后使其成为构建⾼性能、可扩展、成本效益⾼的地理信息系统的理想选择。 它能够有效地解决传统空间数据库在处理海量空间数据和满⾜云原⽣架构需求⽅⾯的挑战为地理信息系统应⽤提供强⼤的数据管理和分析能⼒。
⽬前 Databend 的地理空间数据类型的功能仍在开发中未来规划将围绕着功能完善、性能提升和易⽤性改进和社区⽀持等四个⽅⾯展开
功能完善。⽬前实现的函数还⽐较有限未来会提供更多函数的来⽀持更复杂的计算。性能提升优化存储结构提⾼⼤规模地理空间数据的处理效率。易⽤性改进与 GIS ⽣态中其它软件的交互⽅便⽤户更好的使⽤。社区⽀持积极参与社区建设收集⽤户反馈改进产品。
关于 Databend
Databend 是一款开源、弹性、低成本基于对象存储也可以做实时分析的新式数仓。期待您的关注一起探索云原生数仓解决方案打造新一代开源 Data Cloud。
Databend Clouddatabend.cn Databend 文档docs.databend.cn/ WechatDatabend
✨ GitHubgithub.com/databendlab...
