word wordpress,东莞网站优化一般多少钱,免费1级做爰片在线网站,千锋教育培训在 Elasticsearch#xff08;ES#xff09;中#xff0c;进行大数据查询时#xff0c;常常会由于多种因素而导致性能显著下降。接下来#xff0c;我们将深入探讨几种常见情况及其相应的解决方案。
一、常见问题分析
深分页、大排序 大量数据扫描与多分片上的多次排序会严…在 ElasticsearchES中进行大数据查询时常常会由于多种因素而导致性能显著下降。接下来我们将深入探讨几种常见情况及其相应的解决方案。
一、常见问题分析
深分页、大排序 大量数据扫描与多分片上的多次排序会严重影响性能。深分页的性能问题源于 ES 需要扫描并排序大量数据这一过程不仅要在每个分片上进行扫描排序还需在主查询节点上进行召回汇总涉及二次排序。大排序是指在大量数据上进行排序同样会带来性能挑战。 通配符查询与正则表达式查询 这两种查询方式容易导致全表扫描消耗大量资源。 高基数字段聚合 高基数排序可能耗尽内存和计算资源例如按照玩家 ID 分组进行聚合。 脚本查询 脚本在每个文档上执行消耗 CPU 和内存且无法利用缓存。 大字段全文搜索 大字段的倒索引和存储极为耗费资源。
二、解决方案分类介绍
深分页、大排序 深分页 产品方面 采用虚拟滚动实现分页提升用户体验的同时优化性能。限制总数 track_total_hits控制在百万以内例如将 totalCount 最多记录设置为 100 万多余部分直接显示为 100w。 技术方面 使用 search_after 查询方式替代偏移量查询能显著提升性能。需注意加入 id 或其他唯一字段确保 after 的条件准确以保证结果的准确性。 大排序 多使用 filter 过滤因为 ES 执行顺序是 query - filter - sort。若前两步能排除更多数据sort 阶段处理的数据量就会减少。对于 keyword 类型的字段不要关闭 doc_values采用列存储。列存储的 keyword 对聚合和排序性能更优以存储空间换取性能。 通配符查询和正则查询 用 prefix 实现查询对字段创建正序和倒序两个值索引字段利用 prefix 进行查询。使用 ngram 或者 edge gram 分词虽然会占用更多索引空间但能提高查询效率。需注意模糊查询的字段无需评分应放置在 filter 中这也是一种以存储空间换性能的方案。 高基数聚合查询 产品和技术配合在确定需求无误后可以独立创建另一个粒度的索引。技术手段使用 composite 多桶聚合降低查询压力预先用 cardinality 判断基数大小。 脚本查询 数据预处理新建索引在数据 reindex 时运行脚本补全需要查询或排序的字段。脚本优化尽量将脚本放在 filter 阶段并且只保留一个脚本。脚本尽量使用 ES 官方的 Painless 开发提高性能和可维护性。 大字段全文搜索 首先明确大文本的范围小文本长度在 1KB 以下约 1000 字符以内中等文本长度在 1KB 到 10KB 之间约 1000 到 10000 字符大文本长度在 10KB 以上约 10000 字符以上。处理大文本的两种思路 分片分段将大文本字段拆分为多个较小的字段或段落分别进行索引和查询。语义搜索引入 embedding 向量查询摒弃传统的分词搜索提升查询效率。
