《网络矿工采集配置高级设置教程》由会员分享，可在线阅读，更多相关《网络矿工采集配置高级设置教程（8页珍藏版）》请在金锄头文库上搜索。
1、网络矿工采集器采集配置高级功能教程此教程适合于中级用户，在掌握了网络矿工基础配置之后，阅读此教程，如果您是初 学者，建议您首先阅读网络矿工入门教程。网址参数网址参数支持三个类：递增递减类、字典类、外部参数；递帽变量NumLlgl 递减Num:100,.l, -1 谭增杏最刍 罪溥N u EZerci :1,.1口口.一1 有瓣囹 N umZero :100rl-l字母漫埠 Letter:aHz 字母il减Letter a短日 ShortDate:2013-1-1,2013-3-8长日期 1_口 n g Date:2013 -01-01,2013-03-00POSTtiiPOST后缱 WPOST
2、a 手工捕藏PCI g据离点4编码前缀c BASE64岛盘4编码后缀a咨:Diet:新微分类 亨典:Di ct:百度贴n出也区 字典:5(人民际日 字典:Diet:测试热词 亨典:Diet:海妄商品 亨典:Diet:域名 字典:Diet:当当ID递增递减类参数：数字递增递减，字母递增递减，数字自动补零递增递减，举例：http:/ 用数字参数替换页码，可以实现 271 页数据 的采集。字典类：网址参数不规律的替换，用户可以建立自己的字典用于网址替换实现网址成批 采集，譬如：采集百度贴吧，建立字典百度贴吧地区，然后设置需要采集的贴吧信息，配置 采集网址时进行参数设置http:/ 定数据的采集；外部
3、参数：配置时参数值不固定，在运行采集时由用户指定输入参数值。详细可参见:http:/ 但又需要多个入口的地址（譬如：很多网站的第一页和后续的页面网址是不同的），可配置 第一个网址的信息，复制粘贴出来，修改入口地址即可快速完成第二个网址的配置，在导航 或多页配置时即为有用；http:/detaLtrnall.sm 福e htm?eprn=a 2ND网址导航深度翻瓦规四是邑Do.最大9晶复市蜂集址Ctil-C粘！!溪集闵址 园 一|选中网址，点击鼠标右键，即可复制粘贴。参数传递配置网址在导航和多页配置中，参数传递将非常有用。在部分网站中，导航或多页的网址是通过 js来实现跳转的，我们可以模拟这种j
4、s操作，将需要传递的参数采集出来，然后将参数匹配 给导航出来的网址，即可实现js跳转操作。以采集淘宝评论数据为例，通过淘宝的商品页进行评论数据的导航，此过程需要传递三 个参数：itemid、spuid和sellerid，此三个参数可以通过产品页获取，获取后传递给评论页 url，即可实现评论页的采集，此下载实例可参见网络矿工资源任务；导航翻页对于连续页面的采集有两种方法：1、用url中的页码参数进行页面翻页；2、采用网页 提供的下一页翻页参数进行。导航翻页可以配置两种翻页规则。假如入口页面是一个列表页，我们可以通过页码参数实现翻页，但也可以配置翻页规则 来实现翻页。这是第一个翻页规则。同时第一层
5、导航页导航出来的也是一个列表页，此时还 需翻页，这是第二个翻页规则。第一种翻页规则我们称之为：导航页翻页规则，第二种翻页 规则我们称之为：导航页获取的页面翻页规则。请仔细对应界面。导航规则提取范围（如不埴写，起始于：|一终止于：页翻妍小甑置导航规则遂导航规则乏 导航页采集设置软斯萌进行匹甑翻页规则：下一页1导航规则 质 面部吸博血房二间=船-黑=怕田邑亍0通过导航规则荻取的页面需!哩页，翻页规则:此导航页需进行自色下一页有关导航翻页的实际案例分析请参见：http:/ 判断cookie信息。对于需要cookie信息方可采集的网站，我们可配置Cookie进行数据采集。 但对于网路矿工有一个比较纠结
6、的问题：在配置任务时，获取cookie集成的方法是浏览器，用户只需要用内置的浏览器登录网 站，系统即可捕获cookie信息。内置浏览器在某些情况下会出现获取cookie不完整。而这 种不完整用户是无法判断的。通过嗅探器获取的cookie可以确保完整无误，这样在操作的 时候会非常的尴尬。所以，在此请各位用户非常注意：如果需要cookie采集的网站，在设置了 cookie信息 后，通过采集规则分析”功能确定系统是否正确返回了源码，如果没有，请使用嗅探器进行 cookie的重设。11若土却：仃弄它钦：|土空闺W *ii二曲贝|W回慈殛t |番采里羸T|茹卸曲E | +晌家SE*采隼坝I盼折|- I
7、1 * 1应划古七+瑁加d |i J.5晾为总且网驾 1累华廿盟，W弟求案作短财磐顽愤盼网页瞩隙若3-采蔑湘路所届互I观DJ座即xP主去.吊点g性起垢缶置姑寺位舌限制条件数据采集顺I的就出呼三.力面均吱口三是返麻玉某卫I三M肯i_：C 寸对土三空寸aNonnalNonnalNcinrlNonroilNonral 匕”1、由北彳 WrZ ；LH 呻对.* ；*/时Iml ImHu 珅X；旧古衣片f n”;).叶 F，；淬专空丁 的寸：.=：. j I：?CFft：-iwAir -.王尊去迭式.姬掘用Pien的心生俩K食U5KlSiaaif Srt : JGH左聆件口 了械目皿.行 耳也慎丈行壬座
8、司1*0祛存回隼悄行有七，如星事追11于毫啊-，T；妍业厦出5*5小.彼些-1吕51-中.圣mrm.，n=T =LFW：雷击岌墅畦手由M* WS耳主工5 心网:，三：%彳可:宜冗：坛做 BPE：帙跟WTIW1!：芯匕君苴茸克涅!3心十#!咬4 S=-=ErA tttr5K ELS. S?JAz.i3?B!laK.5ArTiita*CB.:&口”iB!i=,B E.CCTrr.B- :atarlTIm = Drln oil. MM Jig 比! 4 w：r . E-f.w：d l. :ixEd:ll:“XUfrl. H“：北 * 1-lrUrKE；GMJe uxiEiCcri.hT-i Ja.
9、the血 Ma.m:iju. p-:a.tjp*：,&. nl：:inMwltir ifI i- wb trj*- ?iH-rM 7 : EviEhmD Cr ，日xiwrri fed rlEl4WE*:tr-itw*rIXfl，:. riPAirri Eer ! icr| k. eic-IM-wi hh h. flrrtCkiLd： JP C htE 1k. iKkaHilE. n*,ll*,；4；Ta,l44Rll2HTInL：KE:|CKkE. daKi L ibB. eij?i.ul ii Eiaiif Idlul-r3. eie, iLtMLLirrudtf iiefi MAdM1.
10、 ebb. i.rLTU：Li eh w.Jhcf lair. i.9i. gv心5k Of BfKi： U. 75 U-：1MIA1 !i*4. :FiHul. iLU. Ul liMEILLia4 BVi.*!：4JIFELMS. iLU- aFFaiUI IM：aLLi!i|.D.CXLi E4M. dJ-L Jfjao U-A! !ig4. RLU/JXiCF. L“.*d/iH：皿顷 L*-k C p iifcbir eii uPE,，HBL：dan .eii* ahx c fk uei mI I4i1k.L ； Ss.ff1h kei-MLI4fflAiL ； 3v-,，-rtN.
11、,，rRCLEBSil L uca ml LdvtaL 4.|fc.,，w Ei.EFi-hXej i?3dl=iaiELuhwiJek. cn. iFfiiK. Jkiiivi.teidhi L ciieOi iiU：b 9.tU:uL uckp-ud-cilAr:4iEEI： MkfrwUruqur：.，hV：F心融盐 Uda/tBEi 衅 LAhd： = I：；jlEEm“ji3U faUI|FEhd*pU.E = C E-Kil+T J K 皿 piMrid*T W *： ： gT存砒.bJC l| F ： w ij-T-tlM S C : T+p+iT E E H | rOrid-|K ES*i ： ：-Wil F : |,：.* RrLi?CKTlDl EEfcllD：ilil：l. HMlx m,?lTtair.,l.
