学习笔记——信息检索

书目

• 信息检索导论

笔记大纲

• 文档
  • 文档频率（document frequency），出现某词项的文档的数目
  • 索引粒度（indexing granularity）
• 布尔检索
  • 由布尔值构成的词项-文档关联矩阵
  • 一个普遍问题就是采用 AND 操作符产生的结果正确率虽高但是召回率偏低，而采用 OR 操作符召回率高但是正确率低
  • 接受布尔表达式查询，AND，OR，NOT
  • 额外的运算方式：词项邻近（term proximity）
• 排序检索模型（ranked retrieval model）
  • 往往是采用一个或者多个词来构成自由文本查询（free text query）
• 容错式检索
  • 词典搜索的数据结构
  • 通配符查询
  • 拼写校正
• 文档评分
  • 参数化索引
  • 域索引
  • 词项频率（term frequencey）
  • 逆文档频率 idf（inverse document frequency）
  • 向量空间模型（vector space model，简称VSM）
  • 文档长度的回转归一化
• 检索系统中的评分
  • 利用倒排记录表
  • 非精确返回前 K 篇文档
  • 查询词项的邻近性
  • 搜索系统中自由文本查询的传递路径
  • 利用向量空间模型实现查询操作
• 效果评价
  • 黄金标准（gold standard）或绝对真理（ground truth）
  • 无序检索结果集合的评价
  • 有序检索结果的评价方法
  • 相关性判定
  • 系统质量及用户效用
  • 结果片段（snippet）
• 链接分析
  • PageRank
• 层次聚类
• 扁平聚类
  • 聚类是无监督学习（unsupervised learning）的一种最普遍的形式
  • 分类是监督学习的一种形式，其目标是对人类赋予数据的类别差异进行学习或复制
  • 而在以聚类为重要代表的无监督学习当中，并没有这样的人来对类别的差异进行引导
  • 聚类假设：在考虑文档和信息需求之间的相关性时，同一簇中的文档表现互相类似。
  • 搜索结果聚类可以将相似的文档放在一起呈现。通常来说，浏览几个内容连贯的文档子集会比浏览一篇篇独立的文档更容易
  • 聚类算法的主要应用
  • 聚类算法的评价
• 机器学习
  • 基于机器学习评分
  • 基于机器学习的检索结果排序
• 概率检索模型
  • BM25 权重计算机制（BM25 weighting scheme）或Okapi 权重计算机制（Okapi weighting）
• XML 检索
  • 为结构化检索（structured retrieval）
  • 挑战性问题
• 查询优化（query refinement）
  • 布尔查询
  • 全局方法
  • 局部方法
• 索引压缩
  • 优点
  • 统计特性
  • 词典压缩
  • 倒排记录表压缩
• 索引构建
  • 基于块的排序索引方法
  • 内存式单遍扫描索引构建方法
  • 分布式索引构建方法
  • 动态索引构建方法
  • 考虑文档对不同用户的可见性
• 倒排索引
  • 每个词项都有一个记录出现该词项的所有文档的列表，该表中的每个元素记录的是词项在某文档中的一次出现信息
  • 这个表中的每个元素通常称为倒排记录（posting）
  • 每个词项对应的整个表称为倒排记录表（posting list）
  • 所有词项的倒排记录表一起构成全体倒排记录表（postings）
  • 每个倒排记录表存储了词项出现的文档列表，也可以存储一些其他信息，比如词项频率，词项在文档中出现的位置
  • 二元词索引
• 词项
  • 索引的单位
  • 词条化（tokenization）
  • 归一化
  • 词项频率（term frequency，即词项在文档中出现的次数）

下方为 xmind 脑图的线上分享，如果没加载出来需要等一会会。