做网站前期框架图,wordpress邮箱验证插件下载,WordPress分类目录 前100篇,用来做旅游攻略的网站目录
信息检索概述
IR vs数据库: 结构化vs 非结构化数据
结构化数据
非结构化数据
半结构化数据
传统信息检索VS现代信息检索
布尔检索
倒排索引
一个例子
建立词项#xff08;可以是字、词、短语、一句话#xff09;-文档的关联矩阵。
关联向量
检索效果的评价 …目录
信息检索概述
IR vs数据库: 结构化vs 非结构化数据
结构化数据
非结构化数据
半结构化数据
传统信息检索VS现代信息检索
布尔检索
倒排索引
一个例子
建立词项可以是字、词、短语、一句话-文档的关联矩阵。
关联向量
检索效果的评价
建立倒排索引表
索引构建过程
布尔查询的处理
查询优化 信息检索概述
Information Retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satisfies an information need from within large collections (usually stored on computers).
信息检索是从大规模非结构化数据通常是文本 的集合通常保存在计算机上中找出满足用户 信息需求的资料通常是文档的过程。
Document –文档
Unstructured – 非结构化
Information need –信息需求
Collection—文档集、语料库
IR vs数据库: 结构化vs 非结构化数据
结构化数据
通常指表格中的数据。
数据库常常支持范围或者精确匹配查询。
非结构化数据
通常指自由文本
允许
关键词加上操作符号的查询更复杂的概念性查询,
找出所有的有关药物滥用(drug abuse)的网页
经典的检索模型一般都针对自由文本进行处理
考虑文本之间的相似性 搜兵乓球出现刘国梁
半结构化数据
没有数据是没有结构的。
不同位置的关键词权重是不一样的如标题比正文权重更高。
传统信息检索VS现代信息检索
传统信息检索主要关注非结构化、半结构化数据
现代信息检索中也处理结构化数据
第一个检索只能使用结构化数据而结构化数据仅占全部数据的20%日志文件机器数据又占非结构化数据的90%。如何利用日志文件等非结构化数据是现在信息检索发展的关键。
布尔检索
针对布尔查询的检索布尔查询是指利用AND, OR 或 者NOT操作符将词项连接起来的查询
布尔模型是最简单的模型 第一个模型 但在现在最先进的模型中依然使用
输入信息被切割为关键词
人工and 检索and not 教材
百度的高级检索中有。
1\And 2\or not 3排序
倒排索引
一个例子
莎士比亚的哪部剧本包含Brutus及Caesar但是不包含 Calpurnia 布尔表达式为Brutus AND Caesar AND NOT Calpurnia。
笨方法从头到尾扫描所有剧本对每部剧本判断它是否 包含Brutus AND Caesar 同时又不包含Calpurnia
笨方法为什么不好? § 速度超慢(特别是大型文档集) § 处理NOT Calpurnia 并不容易一旦包含即可停止判断 § 不太容易支持其他操作(e.g., find the word Romans near countrymen) § 不支持检索结果的排序(即只返回较好的结果)
因为现在语料库太长从头到尾不现实。
建立词项可以是字、词、短语、一句话-文档的关联矩阵。 关联向量
关联矩阵的每一列都是0/1向量每个0/1都对应 一个词项
给定查询Brutus AND Caesar AND NOT Calpurnia
取出三个行向量并对Calpurnia 的行向量求补 最后按位进行与操作
110100 AND 110111 AND 101111 100100.
检索效果的评价
正确率(Precision) : 返回结果文档中正确的比例。 如返回80篇文档其中20篇相关正确率1/4
召回率(Recall) : 全部相关文档中被返回的比例 如返回80篇文档其中20篇相关但是总的应该 相关的文档是100篇召回率1/5
正确率和召回率反映检索效果的两个方面缺一 不可。
全部返回正确率低召回率100%
只返回一个非常可靠的结果正确率100%
召回率低F是P R的调和平均
词项-文档的关联矩阵应该是高度稀疏的矩阵就是1的占比很少
为了降低占用空间我们只把1的位置保留下来。
建立倒排索引表
把1保留下来把0去掉。从稀疏矩阵到存储docID的向量。
对每个词项t, 记录所有包含t的文档列表.
每篇文档用一个唯一的docID来表示通常是正整数 如1,2,3…
通常采用变长表方式
磁盘上顺序存储方式较好便于快速读取
内存中采用链表或者可变长数组方式
索引构建过程
词条序列、排序、词典倒排记录表
布尔查询的处理
And查询的处理 合并(Merge)两个倒排记录表即求交集
每个倒排记录表都有一个定位指针两个指针同 时从前往后扫描, 每次比较当前指针对应倒排记录 然后移动某个或两个指针。合并时间为两个表长 之和的线性时间
OR表达式Brutus OR Caesar 两个倒排记录表的并集
NOT表达式Brutus AND NOT Caesar 两个倒排记录表的减
查询优化
合并索引表实现and操作。
一、先最短的两个合并DF小的先合并。//保留DF的原因之一
二、或者将布尔表达式转化为合取范式
获得每个词项的df(保守)估算每个子合取范式的df最后将子合取范式的df从小到大排序。
布尔检索可以限定很多条件。
布尔检索构造复杂对用户极其不友好。
布尔检索没有排序。
没有利用词频信息。
