化妆品营销型网站模板,茶酒行业网站建设,手机优化大师官方免费下载,石家庄seo网站优化电话8.17 在 ES|QL 中引入了 match 和 qstr 函数#xff0c;可用于执行全文过滤。本文介绍了它们的作用、使用方法、与现有文本过滤方法的区别、当前的限制以及未来的改进。 ES|QL 现在包含全文函数#xff0c;可用于使用文本查询过滤数据。我们将回顾可用的文本过滤方法#xf…
8.17 在 ES|QL 中引入了 match 和 qstr 函数可用于执行全文过滤。本文介绍了它们的作用、使用方法、与现有文本过滤方法的区别、当前的限制以及未来的改进。 ES|QL 现在包含全文函数可用于使用文本查询过滤数据。我们将回顾可用的文本过滤方法并了解为什么这些函数提供了更好的替代方案。我们还将研究 ES|QL 中全文函数的未来改进。 使用 ES|QL 过滤文本
日志中的文本数据对于理解、监控和排除系统和应用程序故障至关重要。文本的非结构化性质允许灵活地捕获各种信息。
由于是非结构化的我们需要隔离特定模式、关键字或短语的方法。无论是搜索错误消息、使用标签缩小结果范围还是查找特定主机名都是我们一直在做的事情以优化我们的结果并最终获得我们正在寻找的信息。
ES|QL 提供了不同的方法来帮助你处理文本。Elasticsearch 8.17 添加了全文函数 match 和 qstr以帮助解决更复杂的搜索用例。 文本过滤的局限性
ES|QL 已经提供了文本过滤功能包括
文本相等使用相等运算符直接比较完整字符串。字符串开始和结束使用 STARTS_WITH 和 ENDS_WITH 函数。使用 LIKE 和 RLIKE 运算符进行模式和正则表达式匹配。
文本过滤很有用 - 但它在面向文本的用例中可能会有所不足 多值字段
将 ES|QL 函数与多值字段结合使用可能比较棘手 - 函数在应用于多值字段时会返回 null。
如果你需要将函数应用于多值字段则首先需要使用 MV_CONCAT 将值转换为单个值以便可以匹配单个值
FROM logs
| EVAL all_tags MV_CONCAT(tags)
| WHERE all_tags production 分析文本
分析器对于全文搜索非常有用因为它们允许转换文本。它们允许我们提取和修改索引文本并修改查询以便我们最大限度地找到我们正在寻找的内容。
使用文本过滤时不会分析文本。这意味着例如你需要在搜索时匹配文本大小写或者创建解决可能的大小写差异的正则表达式/模式。
在查找多语言文本因此你不能使用 ASCII folding、尝试匹配路径的部分path hierarchy或删除停用词stopwords时这可能会变得更加成问题。 性能
模式匹配和正则表达式需要时间。Lucene 可以通过创建有限自动机来使用索引术语词典进行匹配从而完成大量繁重的工作但这仍然是一个计算密集型过程。
正如你在我们 8.17 版本博客中看到的那样使用正则表达式进行文本过滤的速度可能比使用全文函数慢 50-1000 倍具体取决于你的数据集。 进入全文函数
Elasticsearch 8.17 和 Serverless 引入了两个用于文本匹配的新函数MATCH 和查询字符串缩写为 QSTR。
这些函数解决了文本过滤的一些限制
它们可以直接用于多值字段。当多值字段中的任何值与查询匹配时它们将返回结果。它们使用文本字段的分析器。将使用目标字段的任何现有分析器分析查询这将允许匹配而不考虑大小写。这还可以解锁 ASCII folding、删除停用词甚至使用同义词。它们性能卓越。它们可以直接使用 Lucene 索引结构来定位数据中的特定术语而不是依赖模式匹配或正则表达式。 MATCH 函数
MATCH 允许匹配特定字段上的值
FROM logs
| WHERE match(message, connection lost) Match 函数在底层使用 match query。这意味着当使用多个术语时它将创建一个布尔查询并使用 OR 作为组合它们的默认运算符。
Match 函数目前有一些限制
它不提供指定参数的方法。它将使用匹配查询的默认值。它只能在 WHERE 子句中使用。它不能在 STATS 或 LIMIT 命令之后使用
8.17 版本存在以下限制
只有 text 或 keyword 字段可以与 MATCH 一起使用。MATCH 可以与其他条件组合作为 AND 表达式的一部分但不能作为 OR 表达式的一部分。可以使用 WHERE match(message, connection lost) AND length(message) 10但不能使用 WHERE match(message, connection lost) OR length(message) 10。
我们正在积极努力解除这些限制以便你可以充分利用 MATCH 的全部功能。你可以查看 Elastic Cloud Serverless 中的进度它会不断更新我们的新工作。以下是针对上述限制的 serverless 当前状态
MATCH 几乎可以与任何字段类型一起使用并自动将字符串值转换为任何类型。当条件的所有元素都是全文函数时MATCH 和全文函数允许使用 OR 条件
查看最新文档以了解无服务器上 MATCH 的状态。 匹配运算符
匹配运算符 (:) 相当于上面的匹配函数但它提供了更简洁的语法
FROM logs
| WHERE message:connection lost
使用 match 运算符更方便但你可以使用对你更有意义的任何运算符。
match 运算符具有与 match 函数相同的限制。 查询字符串函数
查询字符串函数 (QSTR) 使用查询字符串语法对一个或多个字段执行复杂查询
FROM logs
| WHERE qstr(message: connection lost AND tags:production)
查询字符串语法允许指定强大的全文选项和操作包括模糊搜索、邻近搜索proximity searches和布尔运算符boolean operators的使用。有关更多详细信息请参阅文档。
查询字符串是一个非常强大的工具但目前有一些限制与 MATCH 函数非常相似
它不提供指定参数如 match type或指定要搜索的 default fields 的方法。它只能在 WHERE 子句中使用。它不能在 STATS 或 LIMIT 命令之后使用它不能在修改列的命令之后使用例如 SHOW、ROW、DISSECT、DROP、ENRICH、EVAL、GROK、KEEP、MV_EXPAND 或 RENAME
与 MATCH 函数类似我们对 OR 条件有一个限制。QSTR 可以作为 AND 表达式的一部分与其他条件组合但不能作为 OR 表达式的一部分。可以使用 WHERE qstr(message: connection lost) AND length(message) 10但不能使用 WHERE qstr(message: connection lost) OR length(message) 10。
当条件的所有元素都是全文函数时Elastic Cloud Serverless 允许使用 OR 条件。请查看最新文档了解 QSTR 在 Serverless 上的状态。 下一步是什么
全文搜索将会发生什么相当多的事情
为 MATCH 和 QSTR 函数的行为添加调整选项一个额外的 KQL 函数可用于将你现有的 Kibana 查询移植到 ES|QL消除全文函数的当前限制
我们还在努力添加评分因此你可以开始使用 ES|QL 进行相关性匹配而不仅仅是进行过滤。这非常令人兴奋因为这将定义 Elasticsearch 中文本搜索的未来 试一试
MATCH 和 QSTR 在 Elasticsearch 8.17 上可用当然它们在 Serverless 中始终是最新的。
你在文本过滤方面寻找什么让我们知道你的反馈
祝你全文过滤愉快
Elasticsearch 包含新功能可帮助你为你的用例构建最佳搜索解决方案。深入了解我们的示例笔记本以了解更多信息开始免费云试用或立即在你的本地机器上试用 Elastic。 原文https://www.elastic.co/search-labs/blog/filtering-in-esql-full-text-search-match-qstr
