网站备案号找回密码,怎么样自学做网站,深圳代理注册公司哪家好,建网站用系列文章目录
4.查询数据湖 4.1 Catalog 4.1.1 概述 4.1.1.1 基本概念 4.1.1.2 Catalog 4.1.1.3 访问Catalog 4.1.2 Default catalog 4.1.3 External Catalog 4.2 文件外部表 4.2.1 使用限制 4.2.2 开源版本语法 4.2.3 阿里云版本 5. 查询及优化 文章目录 系列文章目录前言4.查…系列文章目录
4.查询数据湖 4.1 Catalog 4.1.1 概述 4.1.1.1 基本概念 4.1.1.2 Catalog 4.1.1.3 访问Catalog 4.1.2 Default catalog 4.1.3 External Catalog 4.2 文件外部表 4.2.1 使用限制 4.2.2 开源版本语法 4.2.3 阿里云版本 5. 查询及优化 文章目录 系列文章目录前言4.查询数据湖4.1 Catalog4.1.1 概述4.1.1.1 基本概念4.1.1.2 Catalog4.1.1.3 访问Catalog 4.1.2 Default catalog4.1.3 External Catalog 4.2 文件外部表4.2.1 使用限制4.2.2 开源版本语法4.2.3 阿里云版本 5. 查询及优化 前言
本文为Flink-StarRocks详解后续章节主要详解StarRocks查询数据湖 由于篇幅过长后续接着下面进行详解 数仓场景即席查询大案例
4.查询数据湖
4.1 Catalog
4.1.1 概述
StarRocks 自 2.3 版本起支持 Catalog数据目录功能实现在一套系统内同时维护内、外部数据方便轻松访问并查询存储在各类外部源的数据。
4.1.1.1 基本概念
内部数据指保存在 StarRocks 中的数据。 外部数据指保存在外部数据源如 Apache Hive™、Apache Iceberg、Apache Hudi、Delta Lake、JDBC中的数据。
4.1.1.2 Catalog
当前 StarRocks 提供两种类型 Cataloginternal catalog 和 external catalog。
Internal catalog: 内部数据目录用于管理 StarRocks 所有内部数据。例如执行 CREATE DATABASE 和 CREATE TABLE 语句创建的数据库和数据表都由 internal catalog 管理。 每个 StarRocks 集群都有且只有一个 internal catalog 名为 default_catalog。 External catalog: 外部数据目录用于连接外部 metastore。在 StarRocks 中可以通过 external catalog 直接查询外部数据无需进行数据导入或迁移。当前支持创建以下类型的 external catalog Hive catalog用于查询 Hive 数据。 Iceberg catalog用于查询 Iceberg 数据。 Hudi catalog用于查询 Hudi 数据。 Delta Lake catalog用于查询 Delta Lake 数据。 JDBC catalog用于查询 JDBC 数据源的数据。
4.1.1.3 访问Catalog
可以使用 SET CATALOG 切换当前会话里生效的 Catalog然后通过该 Catalog 查询数据。 语法
SET CATALOG catalog_name参数 catalog_name当前会话里生效的 Catalog支持 Internal Catalog 和 External Catalog。如果指定的 Catalog 不存在则会引发异常。 示例 通过如下命令切换当前会话里生效的 Catalog 为 Hive Catalog hive_metastore
SET CATALOG hive_metastore;如想在一个 catalog 中查询其他 catalog 中数据可通过 catalog_name.db_name.table_name 的格式来引用目标数据。 例如在 default_catalog.olap_db 下查询 hive_catalog 中的 hive_table。
SELECT * FROM hive_catalog.hive_db.hive_table;4.1.2 Default catalog
StarRocks 2.3 及以上版本提供了 Internal Catalog内部数据目录用于管理 StarRocks 的内部数据。每个 StarRocks 集群都有且只有一个 Internal Catalog名为 default_catalog。StarRocks 暂不支持修改 Internal Catalog 的名称也不支持创建新的 Internal Catalog。 使用 默认是default_catalog也可以显示切换。
SET CATALOG default_catalog;然后通过 SELECT 查询内部数据
SELECT * FROM table_name;如在以上步骤中未指定数据库则可以在查询语句中直接指定。
SELECT * FROM db_name.table_name;
或
SELECT * FROM default_catalog.db_name.table_name;4.1.3 External Catalog
External Catalog外部数据目录用于管理外部数据源的访问信息。 语法
CREATE EXTERNAL CATALOG catalog_name
[COMMENT comment]
PROPERTIES
(type type,MetastoreParams
)参数说明 catalog_nameExternal Catalog的名称必选参数。 命名要求如下 总长度不能超过64个字符。 必须由字母az或AZ、数字0~9或下划线_组成且只能以字母开头。 commentExternal Catalog的描述可选参数。 type数据源的类型必选参数。 目前开源版本支持hive、hudi、iceberg、delta lake、jdbc、elasticsearch、paimon七种类型的数据源阿里云EMR Serverless StarRocks目前只支持hive、hudi、iceberg三种。 MetastoreParamsStarRocks访问相应数据源的相关参数配置 示例 开源版本
CREATE EXTERNAL CATALOG hive_catalog_hms
PROPERTIES
(type hive,hive.metastore.type hive,hive.metastore.uris thrift://xx.xx.xx:9083
);阿里云版本
CREATE EXTERNAL CATALOG hive
PROPERTIES
(type hive,dlf.catalog.endpoint dlf-vpc.cn-beijing.aliyuncs.com,dlf.catalog.region cn-beijing,dlf.catalog.proxyMode DLF_ONLY,dlf.catalog.akMode MANUAL,hive.metastore.type DLF,dlf.catalog.id dlf_test,dlf.catalog.accessKeyId *******,dlf.catalog.accessKeySecret *****
);4.2 文件外部表
文件外部表 (File External Table) 是一种特殊的外部表。可以通过文件外部表直接查询外部存储系统上的 Parquet 和 ORC 格式的数据文件无需导入数据。同时文件外部表也不依赖任何 Metastore。StarRocks 当前支持的外部存储系统包括 HDFS、Amazon S3 及其他兼容 S3 协议的对象存储、阿里云对象存储 OSS 和腾讯云对象存储 COS。 该特性从 StarRocks 2.5 版本开始支持。
4.2.1 使用限制
当前仅支持在 default_catalog 下的数据库内创建文件外部表不支持 external catalog。可以通过 SHOW CATALOGS 来查询集群下的 catalog。 仅支持查询 Parquet 和 ORC 格式的数据文件。 目前仅支持读取目标数据文件中的数据不支持例如 INSERTDELETEDROP 等写入操作。
4.2.2 开源版本语法
切换到目前数据库后可以使用如下语法创建一个文件外部表。
CREATE EXTERNAL TABLE table_name
(col_name col_type [NULL | NOT NULL] [COMMENT comment]
)
ENGINEFILE
COMMENT [comment]
PROPERTIES
(FileLayoutParams,StorageCredentialParams
)参数说明 参数 必选 说明 具体参考https://docs.starrocks.io/zh/docs/data_source/file_external_table/示例
USE db_example;
CREATE EXTERNAL TABLE table_1
(name string, id int
)
ENGINEfile
PROPERTIES
(path s3://bucket-test/folder1/, format orc,aws.s3.use_instance_profile false,aws.s3.access_key iam_user_access_key,aws.s3.secret_key iam_user_access_key,aws.s3.region us-west-2
);4.2.3 阿里云版本
在阿里云EMR Serverless StarRocks中通过配置正确的OSS AccessKey和OSS Endpiont信息即可以轻松地连接到OSS Bucket并在StarRocks中使用SQL语句对数据进行查询和分析等操作。
操作步骤 1进入EMR Serverless StarRocks实例配置页面。 1在EMR控制台点击StarRocks单击待查看的实例名称。
2单击实例配置页签。
2修改core-site.xml配置。 1单击core-site.xml页签。 2搜索并修改以下配置项。
①配置accessKey步骤 登录AccessKey管理页面
https://ram.console.aliyun.com/manage/ak?spma2c4g.11186623.0.0.389247f8OlOaMw 首次进入需勾选并点击确定
因为安全原因这里使用子用户的AccessKey
点击创建用户
登录名为写自己得显示名称为自己的名称勾选两种访问方式 点击自定义密码设置为88888666! 然后是不需要重置密码不需要MFA多因素认证 点击确定 然后通过手机号或者扫脸进行验证。 验证成功后复制对应的AccessKey ID 和 Secret
②通过查询访问域名和数据中心 https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints 得到 北京的内网Endpoint为 oss-cn-beijing-internal.aliyuncs.com3修改BE配置。 1单击BE页签。 2搜索并修改以下配置项。
4生效配置。 1单击提交参数。 2在弹出的对话框中输入原因说明单击确定。 5查询示例 接paimon章节在oss中创建的表
CREATE DATABASE test;CREATE EXTERNAL TABLE test.UpdateTable
(a STRING,b INT,c INT
)
ENGINEfile
PROPERTIES
(path oss://*******-paimon/test.db/UpdateTable/bucket-0/, format orc
);SELECT * FROM test.UpdateTable;查询结果如下
注意如果查询报错原因可能是子账号没有OSS访问权限所以需要给子账号开通权限
开通方式就是在RAM访问控制中点击用户然后添加权限。
然后把OSS权限授权给子用户。
5. 查询及优化
查询SQL参考
https://docs.starrocks.io/zh/docs/sql-reference/sql-statements/all-commands/常用函数参考
https://docs.starrocks.io/zh/docs/sql-reference/sql-functions/function-list/另外为了获取更快的查询速度StarRocks也提供了一些查询加速的方法主要的方式有使用CBO 优化器、物化视图、Colocata Join、索引、数据去重等。 具体详见
https://docs.starrocks.io/zh/docs/using_starrocks/Cost_based_optimizer/
