阅读 362

文本获取和搜索引擎中的反馈模型

coursera课程 text retrieval and search engine 第五周 推荐。

反馈的基本类型

  • relevance Feedback:查询结果返回后,有专门的人来识别那些信息是有用的,从而提高查询的命中率,这种方式很可靠
  • implicit feedback:观察有哪些返回结果是用户点击了的,有点击的认为是对用户有用的,从而提高查询准确率
  • persudo feedback:获取返回结果的前k个值,认为是好的查询结果,然后增强查询

Rocchio Feedback思想

对于VSM(vector space model)来说,想要提高查询的准确度,需要把查询向量做一个调整,跳到某个位置以提高精度,Rocchio即把向量移到所有向量的中心

||取模代表向量的个数,另外经过移动之后,会有很多原来是0的变成有数据,通常采用的措施是保留高权重的

它可以用在 relevance feedback和persudo feedback【relevance的beta要大于persudo】;在使用的时候注意不要过度依赖,还是要以原始的查询为主,毕竟反馈只是一个小的样本

Kullback-Leibler divergence Retrieval model[KL散度检索模型]

kl作为反馈运算来讲,具体操作可以是:首先提供一个预估要查询的文档集,以及查询的关键字,分别计算出文档和查询的向量。计算出二者的距离【基本和VSM一致】,通过这样的方式,会得到一个反馈的集合。这里的关键在于从反馈集合中提取出一个查询向量,通过如图所示的方式添加到查询向量中去【作为反馈】,从而提供更好的查询结果

混合模型

所有的反馈结果集合都会来自于反馈模型,但是通过词频分析来说,排在最前面的一般都是常用的字段集合【the 等】,而这些加入反馈是非常不恰当的。 通过加入另外的一个集合【背景文档】,混合两个模型,并通过概率来选择哪个集合的结果,这个时候,所有的反馈文档集合由混合模型来决定,那么对于在背景文档中很少的词频,但是在反馈文档中很频繁的,必定是来源于反馈文档集合,背景文档集合本身通过给the等词添加很低的频率,那么就可以筛选出反馈文集总过高的通用词

topic words代表反馈模型,假设有一个源头来控制是取背景字段还是反馈模型的字段,其选择概率是lamda。这样做到可以控制到底是选择背景文集作为 反馈还是反馈模型。