《Learning to Rank using Gradient Descent原版+自己翻译》由会员分享，可在线阅读，更多相关《Learning to Rank using Gradient Descent原版+自己翻译（21页珍藏版）》请在金锄头文库上搜索。
1、LearningtoRankusingGradientDescent使用梯度下降方法的排序学习Source:ICML2005-Proceedingsofthe22ndnternationalConferenceonMachineLearning摘要AbstractWeinvestigateusinggradientdescentmethodsforlearningrankingfunctions;weproposeasimpleprobabilisticcostfunction,andweintroduceRankNet,animplementationoftheseideasusingane
2、uralnetworktomodeltheunderlyingrankingfunction.Wepresenttestresultsontoydataandondatafromacommercialinternetsearchengine.1.IntroductionAnysystemthatpresentsresultstoauser,orderedbyautilityfunctionthattheusercaresabout,isperformingarankingfunction.Acommonexampleistherankingofsearchresults,forexamplef
3、romtheWeborfromanintranet;thisisthetaskwewillconsiderinthispaper.Forthisproblem,thedataconsistsofasetofqueries,andforeachquery,asetofreturneddocuments.Inthetrainingphase,somequery/documentpairsarelabeledforrelevance(“excellentmatch”,“goodmatch”,etc.).Onlythosedocumentsreturnedforagivenqueryaretobera
4、nkedagainsteachother.Thus,ratherthanconsistingofasinglesetofobjectstoberankedamongsteachother,thedataisinsteadpartitionedbyquery.Inthispaperweproposeanewapproachtothisproblem.Ourapproachfollows(Herbrichetal.,2000)inthatwe我们研究使用梯度下降法排序学习的函数;我们提出了一个简单的概率成本函数，并引入RankNet，这些想法是通过使用一个神经网络模型的基本排序函数来实现的。我们呈
5、现了对人工数据和从商业互联网搜索引擎的数据测试结果。1.引言用户关心的一个效用函数整理那个传递给用户结果的任何系统能执行排序函数。一个常见的例子是，搜索结果的排名，例如从网上或从一个局域网；这是我们在文中主要讨论的。对于这个问题，数据包含了一组查询并且对于每一个查询都有一组返回文档。在训练阶段，一些查询/文档对标注检索能力(“完美匹配”，“好的匹配”等等)排序仅仅发生在那些对于一个查询返回的文档间。因此，取代文档间单一组的排名，数据被划分开通过查询。在这篇论文里我们针对这个问题提出一种新的方法。我们的做法如下(Herbrichetal.,2000)，我们训练这样的实例对，trainonpair
6、sofexamplestolearnarankingfunctionthatmapstothereals(havingthemodelevaluateonpairswouldbeprohibitivelyslowformanyapplications).However(Herbrichetal.,2000)casttherankingproblemasanordinalregressionproblem;rankboundariesplayacriticalroleduringtraining,astheydoforseveralotheralgorithms(Crammer&Singer,2
7、002;Harrington,2003).Forourapplication,giventhatitemAappearshigherthanitemBintheoutputlist,theuserconcludesthatthesystemranksAhigherthan,orequalto,B;nomappingtoparticularrankvalues,andnorankboundaries,areneeded;tocastthisasanordinalregressionproblemistosolveanunnecessarilyhardproblem,andourapproacha
8、voidsthisextrastep.Wealsoproposeanaturalprobabilisticcostfunctiononpairsofexamples.Suchanapproachisnotspecifictotheunderlyinglearningalgorithm;wechosetoexploretheseideasusingneuralnetworks,sincetheyareflexible(e.g.twolayerneuralnetscanapproximateanyboundedcontinuousfunction(Mitchell,1997),andsinceth
9、eyareoftenfasterintestphasethancompetingkernelmethods(andtestspeediscriticalforthisapplication);howeverourcostfunctioncouldequallywellbeappliedtoavarietyofmachinelearningalgorithms.Fortheneuralnetcase,weshowthatback-propagation(LeCunetal.,1998)iseasilyextendedtohandleorderedpairs;wecalltheresultinga
10、lgorithm,togetherwiththeprobabilisticcostfunctionwedescribebelow,RankNet.Wepresentresultsontoydataandondatagatheredfromacommercialinternetsearchengine.是要学习映射到实数的排名函数的实例对(对许多应用而言，基于对的模型评估将是极其缓慢的)。然而(Herbrichetal.,2000)把排序问题转换为顺序回归问题；等级界限在训练的过程中发挥了关键作用，因为他们要用到一些其他的算法(Crammer&Singer,2002;Harrington,200
11、3)。在我们这里，条目A比条目B在输出列表中出现概率更高，用户会得出这样的结论，系统排名A大于或等于B.不需要映射到特定的等级值，也不需要等级界限;我们的方法避免了这一额外步骤，即把学习排序转换为顺序回归问题我们还提出了一种基于实例对的自然概率成本函数。这种方法是不特定的基本学习算法；我们选择了用神经网络探索这些想法，源于神经网络的灵活。(比如：两层神经网络可以逼近任意有界连续函数(Mitchell,1997)因为他们往往在测试阶段比同类内核方法更快，(对于这个应用程序测试速度是至关重要的)；然而我们的成本函数同样可以适用于各种机器学习算法中。对于神经网络，我们展示了，反向传播(LeCunet
12、al.,1998)是很容易地扩展到处理序对的；我们称结果算法和我们以下描述的概率成本函数，为RankNet。我们将会呈现对人工数据和从商业互联网搜索引擎的数据测试结果。对于后者，数据拥有17,004个查询，并且每个查询有高达1000个返回文档，即最上面的返回文档，是简单的排名。Forthelatter,thedatatakestheformof17,004queries,andforeachquery,upto1000returneddocuments,namelythetopdocumentsreturnedbyanother,simpleranker.因此，每个查询产生高达1000的特征向
13、量。Thuseachquerygeneratesupto1000featurevectors.符号：表示关联级别数(或等级)的N，m个训练样本，和d维的数据Notation:wedenotethenumberofrelevancelevels(orranks)byN,thetrainingsamplesizebym,andthedimensionofthedatabyd2.以前的工作RankProp(Caruanaetal.,1996)也是一个神经网络排名模型。rankprop两个阶段之间交替：当前的目标值的均方误差回归和能反映当前网络排名的目标值本身的调节。2.PreviousWorkRan
14、kProp(Caruanaetal.,1996)isalsoaneuralnetrankingmodel.最终的结果是一个能反映渴望排名的大量目标的数据映射，它比回归原始即缩放等级值运行的要好。RankPropalternatesbetweentwophases:anMSEregressiononthecurrenttargetvalues,andanadjustmentofthetargetvaluesthemselvestoreflectthecurrentrankinggivenbythenet.Theendresultisamappingofthedatatoalargenumbero
15、ftargetswhichreflectthedesiredranking,whichperformsbetterthanjustregressingtotheoriginal,scaledrankvalues.rankprop具有的优点是，它是点而不是对训练模式;Rankprophastheadvantagethatitistrainedonindividualpatternsratherthanpairs;然而，它不知道什么样的项下收敛，并且没有给出一个概率模型。(Herbrichetal.,2000)把学习排名问题转化为序数回归，即是学习，输入向量映射到一组有序数值排名的一个成员。how
16、everitisnotknownunderwhatconditionsitconverges,anditdoesnotgiveaprobabilisticmodel.他们的模型是在实线的间隔，并考虑依赖实例对和目标等级的损失函数。(Herbrichetal.,2000)casttheproblemoflearningtorankasordinalregression,thatis,learningthemappingofaninputvectortoamemberofanorderedsetofnumericalranks.Theymodelranksasintervalsontherealline,andconsiderlossfunctionsthatdependonpairsofexamplesandtheirtargetranks.等级界限的位置在最后的排名功能发挥
