wordpress 代码行号,seo研究中心培训机构,网站防御代理,建设企业网站平台背景说明
由于服务器的实际资源小于starRocks官方的配置#xff0c;导致starRocks在无任务的情况下#xff0c;常驻内存偏高#xff0c;可用于查询的资源变小。 官方文档
实际部署的集群一般是4C8G和8C16G#xff0c;be的配置不达标
为了解决单次查询内存不足的问题导致starRocks在无任务的情况下常驻内存偏高可用于查询的资源变小。 官方文档
实际部署的集群一般是4C8G和8C16Gbe的配置不达标
为了解决单次查询内存不足的问题提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑降低内存使用。 注意事项
部分参数无法在conf文件中配置需要执行SQL语句进行set操作。
参数调整
query_mem_limit
感觉是starRocks的BUG默认是不配置的就是不限制。但一段时间后会触发BUG变成2G的效果只能手动配置来解决。
Limit2147483648刚好是2GB。 ERROR 1064 (HY000) at line 1: Memory of Query4c93de21-7bb9-11ef-a38d-00163e3ad810 exceed limit. Pipeline Backend: 172.16.204.181, fragment: 4c93de21-7bb9-11ef-a38d-00163e3ad811 Used: 2150710904, Limit: 2147483648. Mem usage has exceed the limit of single query, You can change the limit by set session variable query_mem_limit. SET GLOBAL query_mem_limit 13743895347;
--具体数值需要根据实际资源确认大约是服务器的80%enable_persistent_index 这个参数用于控制是否持久化主键索引。在主键表中StarRocks可以使用磁盘和内存同时存储主键索引以减少主键索引占用的内存空间。如果设置为true则主键索引会被持久化到磁盘上这样可以在使用大量数据的情况下节省内存。默认情况下这个参数可能设置为false意味着主键索引只在内存中维护这可能会导致内存使用量较大。常驻内存使用问题之一内存不足或导入操作多的表可以考虑关闭。 disable_storage_page_cache 是否开启 PageCache。开启 PageCache 后StarRocks 会缓存最近扫描过的数据对于查询重复性高的场景会大幅提升查询效率。true 表示不开启。该配置项与 storage_page_cache_limit 配合使用在内存资源充足和有大数据量 Scan 的场景中启用能够加速查询性能。storage_page_cache_limit默认20%修改为0% 。BE 存储层 page 缓存可以使用的内存上限。 管理内存 | StarRocks
chunk_reserved_bytes_limit
其参数修改在【metadata常驻优化】中 chunk_reserved_bytes_limit100000000 用于加速小块内存分配的 Cache默认上限为 2GB。您可以在内存资源充足的情况下打开。 修改为0不启用 管理内存 | StarRocks
metadata常驻优化
降低到常驻进程中metadata的占比
在be.conf中加上
disable_column_pooltrue
chunk_reserved_bytes_limit100000000
data_page_size524288中间表落盘
中间结果落盘 | StarRocks
【默认】Data Cache
speedo系统默认是false未开启 如需永久禁用 Data Cache需要将以下配置添加到 CN 配置文件 cn.conf 中并重新启动 CN 节点 starlet_use_star_cache falseData Cache | StarRocks
【默认】Query Cache
speedo系统默认是false未开启 Query Cache 特性可以帮助您极大地提升聚合查询的性能。开启 Query Cache 后每次处理聚合查询时StarRocks 都会将本地聚合的中间结果缓存于内存中。这样后续收到相同或类似的聚合查询时StarRocks 就能够直接从 Query Cache 获取匹配的聚合结果而无需从磁盘读取数据并进行计算大大节省查询的时间和资源成本并提升查询的可扩展性。在大量用户同时对复杂的大数据集执行相同或类似查询的高并发场景下Query Cache 的优势尤为明显。 Query Cache | StarRocks
内存分析方法
管理内存 | StarRocks
