1. 介绍
由于搜索算法本身的局限性,对于用户的语义、意图等理解不够,而基于用户行为的点击调权,作为对传统搜索算法的补充,在搜索中扮演着重要的作用。尽管用户行为已经被证明在搜索中的效果,但是一直只是停留在query-url层面,或者ngram-url层面[1],没有深入反馈到检索算法中的基础策略,比如:同义词、紧密度、省略等,这些策略影响了url与query之间的关系。本文以对同义词的反馈为例,提出一个通用的基于用户行为的基础策略反馈框架。
由于同义词词典与线上应用算法的限制,检索系统中存在部分质量不好、或者本来质量好但是应用时错误降低了权值的同义词。在同义词召回出来结果后,呈现在用户面前,用户的行为数据可以帮助我们识别同义词的好坏。在计算出同义词的好坏后,就可以直接应用于同义词的退场或者调整应用的权值。
2. 反馈框架
在进行反馈机制的挖掘中,主要分为三部分:
1) 日志记录。主要进行基础策略用户行为的记录、以及query-url对进行用户行为数据的统计,解决如何利用用户行为衡量query-url转义问题。这部分还要记录影响具体query-url的策略,比如,这个url是哪个同义词所召回,或者是哪个term被省略。
2) 反馈机制挖掘。根据query-url中统计的基础策略的用户行为数据,进行基础策略的统计。这个地方不同的基础策略的衡量方式可以保持相同,但是基础策略提取的信息不一样。比如同义词是替换对,省略是指省略的term等。
3) 线上反馈应用。将第二步挖掘的词典,应用于具体的query,比如进行上下文的匹配,以及一些应用策略。
以上的框架比较笼统,下面针对同义词的反馈做具体的讨论。
3. 日志记录及统计
这部分首先需要记录具体的策略,比如在这个query下,每条url是由哪个基础策略所影响的,而且需要更加具体。比如同义词需要记录由那些具体的同义词所召回。因为往往一个query有很多同义词,但是真正每条url只是其中1到2个同义词影响的。
衡量query-url是否转义是非常关键的步骤,本文主要篇幅是讨论这个。衡量的方法需要借助用户的行为。在搜索引擎的日志系统中,对query-url有如下的用户行为统计量:(下面的讨论中,url的统计都是和query相关的,不再特殊说明)
展现次数:用户搜索后,搜索引擎返回的url在前k条展现的次数(display)
点击次数:用户点击url次数(click)
满意点击次数:考虑是否满足用户的需求的点击(相对停留时间,是否是最后点击) (satisfy)
因此我们可以用click/disply、satisfy/display来衡量url的好坏。但有如下问题:
1.位置偏置问题:点击次数对位置非常敏感,搜索结果中, url的点击次数随着url的排序位置越靠后,其点击次数越少,而且越后面减少得越快。因此位置在前的url,虽然转义了,但也有很多用户点击;反之,位置在后的url,虽然满足用户需求了,但也很少有用户点击。这样很容易让我们的反馈系统失效。
2.在搜索引擎中,用户对搜索结果的满意大致可以分为两个层次:1) 检索出来的url的标题和摘要是否和用户的query的意图一致。2) url内容的质量是否满足用户的需求,比如是否死链、知道页面没有人回答、作弊页面等。我们的目标是识别出转义的替换词对,这些只和第1个层次的满意相关。我们可以假设用户既然点击了这个url,说明这个url的title摘要是没有转义的,至于网页的质量不是同义词本身的质量所能影响的。
为了解决问题1,可以从这一角度考虑。排在后面的url点击次数少的原因是用户看到的次数少,因此不能用展现来与click做比值,可以利用一些方法来估计用户看到的次数,我们称之为检查次数(check)。这里有一些很简单的方法。比如对于每次用户的搜索,用户最后点击的url位置为p,那么位置在p之前url检查次数是1,在p之后的url的检查次数依次以一个概率衰减。这些概率可以采用一些贝叶斯的方法进行学习。[2]
采用检查次数可以部分解决位置偏置问题,但是学习到的衰减参数是对所有的query-url,但不同的query-url有很大的差别,这也是该方法的不足之处。
4. 反馈挖掘和应用
4.1 反馈挖掘
基于第3章中日志记录的工作,可以采用click次数用来表示url满足query的次数,而check-click表示url不满足query的次数。这样用click/(check-click)这个值来表示url满足query程度。对于具体的同义词反馈任务,可以把多条query-url结果中记录的同样的同义词替换进行统计click和check次数(即统计的key是 原词 替换词 二元组),把最后得到的click/(check-click)作为衡量这个同义词替换的相似度,即同义词的反馈替换相似度:
这个地方还有一大问题是,由于很多同义词是上下文相关的,比如:考虑一对同义词 看->治疗,在某些上下文下,比如:哪里看病比较好,是同义的;而在某些上下文下,比如:哪里看还珠格格连播。因此为了更智能的在不同的上下文进行同义词的反馈,需要在统计的时候考虑上下文,即统计的key为:原词 上下文 替换词 三元组。
但是不能把整个query作为上下文,这样统计会有很大的数据稀疏性,而如果随便把单个词作为上下文,会有很大的准确率问题。比如 哪里 对 看->治疗 以及看->观看 都是支持的。因此为了兼顾上下文数据的稀疏以及准确问题,需要一个上下文选择算法。在自然语言处理中通常采用似然比的方法(llr, likelihood ratio)[3],用来衡量orig与context的搭配强度,从而搭配强度越强,这个context词可以认为是orig词的替换上下文。其计算方法为:
其中a表示orig,context共现次数;b表示orig出现,context不出现的次数;c表示orig不出现,context出现的次数;d表示oirg和context都不出现的次数。N=a+b+c+d表示总共的样本数,那么llr的计算公式为:
4.2 反馈应用
反馈机制应用时,是针对每一个替换进行独立的判断,即已知替换对(orig sub),需要先进行上下文的选取。上下文相关的同义词,本质上来说被替换词是一个多义词,对于大部分query来说,只用一个上下文词就可以限定被替换词的意义。因此从简单的角度考虑,以及多个词的上下文融合所带来的噪音以及融合方式的问题,反馈机制应用时只选择一个在一定上下文窗口内的词语。
最后计算所选择的上下文,利用4.1节中训练的数据,作为替换的反馈相似度,即sim(orig,contex,sub)。利用这个值作为同义词的置信度应用于线上:或退场,或降权,或升权。
5. 总结和展望
在检索系统中,对基础策略做基于用户行为的反馈是一个比较新的方向,对于改进基础数据具有非常重要的意义。本文根据对用户行为的深入调研,探讨了一些方法和指标。
从总体上来说,本框架的相当于做了两个假设:用户行为与相关性的关系正相关,url相关性与基础策略正确性正相关。
第一个假设涉及到基础统计特征的调研思考角度。点击检查是体现这些关系的特征之一,另外还可以考虑更多的特征,比如:满意点击,点击的url条目。还有飘红对点击的影响,用户的作弊识别等干扰基础特征的统计。这一点不同的基础策略是可以统一的
第二个假设涉及到基础策略以什么形式来表示这些基础的统计特征。这个是和基础的策略紧密相关。比如同义词选择上下文的方法,以及上下文的位置,多个上下文,或者不需要上下文的替换对识别等。另外还需关注基础策略的应用问题,比如同义词不转义,url转义的问题,这对基础策略的识别会产生误导。
从机器学习的角度上,该方法主要从生成模型的角度出发,因此模型的各个步骤解释性很强,但是无法利用更多的特征,可以挖掘更多的特征并采用机器学习的方法来利用这些特征。
6. 参考文献
[1] Huihsin T, Longbin C, Fan Li etc. 2009. Mining Search Engine Clickthrough Log for Matching N-gram Features . Proceedings of the 2009 Conference on EMNLP, 524-533.
[2] Ricardo Baeza-Yates, Carlos Hurtado,etc. Modeling User Search Behavior. In LA-WEB 05
[3] Christopher D. Manning, Hinrich Schutze. Foundations of Statistical Natural Language Processing. The MIT Press. 172-175
by xuwenzhi
文章来源:百度搜索研发部博客