云主机开网站教程,营销方案100例,广告制作行业,沈阳公司网站建设前段时间碰到一个 StarRocks 物化视图的 bug: https://github.com/StarRocks/starrocks/issues/55301 但是这个问题只能在存算分离的场景下才能复现#xff0c;为了找到问题原因我便尝试在本地搭建一个可以 Debug 的存算分离版本。 之前也分享过在本地 Debug StarRocks#x… 前段时间碰到一个 StarRocks 物化视图的 bug: https://github.com/StarRocks/starrocks/issues/55301 但是这个问题只能在存算分离的场景下才能复现为了找到问题原因我便尝试在本地搭建一个可以 Debug 的存算分离版本。 之前也分享过在本地 Debug StarRocks不过那是存算一体的版本而存算分离稍微要复杂一些。 这里提到的本地 Debug 主要是指可以调试 FE而 CN/BE 则是运行在容器环境避免本地打包和构建运行环境。 当前 StarRocks 以下的存算分离部署方式在本地推荐直接使用 MinIO 部署。 启动 MinIO 首先第一步启动 MinIO: docker run -d --rm --name minio \-e MINIO_ROOT_USERminiouser \-e MINIO_ROOT_PASSWORDminiopassword \-p 9001:9001 \-p 9000:9000 \--entrypoint sh \minio/minio:latest \-c mkdir -p /minio_data/starrocks minio server /minio_data --console-address :9001 进入 MinIO 容器设置 access token: docker exec -it minio sh
mc alias set myminio http://10.0.9.20:9000 miniouser miniopassword; mc admin user svcacct add --access-key AAAAAAAAAAAAAAAAAAAA --secret-key BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB myminio miniouser 启动 cn: docker run -p 9060:9060 -p 8040:8040 -p 9050:9050 -p 8060:8060 -p 9070:9070 -itd --rm --name cn -e TZAsia/Shanghai starrocks/cn-ubuntu:3.4-latest 修改 cn.conf : cd cn/config/
echo priority_networks 10.0.9.20/24 cn.properties 使用脚本手动启动 cn: bin/start_cn.sh --daemon 使用以下配置在本地 IDEA 中启动 FE: LOG_DIR ${STARROCKS_HOME}/log DATE $(date %Y%m%d-%H%M%S) sys_log_level INFO http_port 8030
rpc_port 9020
query_port 9030
edit_log_port 9010
mysql_service_nio_enabled true run_mode shared_data
cloud_native_storage_type S3
aws_s3_endpoint 10.0.9.20:9000
# set the path in MinIO
aws_s3_path starrocks
# credentials for MinIO object read/write
# 这里的 key 为刚才设置的 access token
aws_s3_access_key AAAAAAAAAAAAAAAAAAAA
aws_s3_secret_key BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB
aws_s3_use_instance_profile false
aws_s3_use_aws_sdk_default_behavior false
# Set this to false if you do not want default
# storage created in the object storage using
# the details provided above
enable_load_volume_from_conf true # 本机 IP需要与 cn 中的配置对齐
priority_networks 10.0.9.20/24 启动 FE 之前最好先删除 meta/. 下的所有元数据文件然后再启动。 添加 CN 节点 FE 启动成功之后连接上 FE然后手动添加 CN 节点。 ALTER SYSTEM ADD COMPUTE NODE 127.0.0.1:9050;
show compute nodes; 然后就可以创建存算分离的表了。 CREATE TABLEIFNOTEXISTS par_tbl1
(datekey DATETIME,k1 INT,item_id STRING,v2 INT
)PRIMARY KEY (datekey,k1)
PARTITIONBY date_trunc(day, datekey)PROPERTIES (
compression LZ4,
datacache.enable true,
enable_async_write_back false,
enable_persistent_index true,
persistent_index_type LOCAL,
replication_num 1,
storage_volume builtin_storage_volume
); 最终其实是参考官方提供的 docker-compose 的编排文件进行部署的 https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/docker-compose.yml 如果只是想在本地搭建一个存算分离的版本可以直接使用这个 docker compose. 其中有两个坑需要注意 创建表超时 建表出现超时提示需要配置时间: admin set frontend config(tablet_create_timeout_second50) 配置也不能解决问题依然会超时可以看看本地是否有开启代理尝试关闭代理试试看。 unknown compression type(0) backend [id10002] 不支持的压缩类型这个问题我在使用 main 分支的 FE 与最新的 starrocks/cn-ubuntu:3.4-latest 的镜像会触发当我把 FE 降低到具体到 tag 分支比如 3.3.9 的时候就可以了。 具体原因就没有细究了如果要本地 debug 使用最新的 tag 也能满足调试的需求。 参考链接 https://github.com/StarRocks/starrocks/issues/55301https://docs.starrocks.io/zh/docs/deployment/shared_data/minio/
