《微信热门文章采集方法以及详细步骤》由会员分享，可在线阅读，更多相关《微信热门文章采集方法以及详细步骤（44页珍藏版）》请在金锄头文库上搜索。
1、 八爪鱼云采集服务平台微信热门文章采集方法以及详细步骤微信热门文章采集方法以及详细步骤本文将以搜狗微信文章为例，介绍使用八爪鱼采集网页文章正文的方法。文章正文里一般包括文本和图片两种。本文将采集文章正文中的文本+图片 URL。将采集以下字段：文章标题、时间、来源和正文（正文中的所有文本，将合并到一个 excel 单元格中，将使用到“自定义数据合并方式”功能，请大家注意）。同时，采集文章正文中的文本+图片 URL，将用到“判断条件”，“判断条件”的使用，有很多需要注意的地方。以下两个教程，大家可先熟悉一下。“自定义数据合并方式”详解教程：http:/ http:/ 点击和翻页http:/ 滚动h
2、ttp:/ 1：创建采集任务1）进入主界面，选择“自定义模式”八爪鱼云采集服务平台微信热门文章采集方法步骤 12）将要采集的网址 URL 复制粘贴到网站输入框中，点击“保存网址”八爪鱼云采集服务平台微信热门文章采集方法步骤 2步骤 2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”八爪鱼云采集服务平台微信热门文章采集方法步骤 32）选择“循环点击单个元素”，以创建一个翻页循环八爪鱼云采集服务平台微信热门文章采集方法步骤 4由于此网页涉及 A
3、jax 技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax 加载数据”，设置时间为“2 秒”八爪鱼云采集服务平台微信热门文章采集方法步骤 5注：AJAX 即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。八爪鱼云采集服务平台观察网页，我们发现，通过 5 次点击“加载更多内容”，页面
4、加载到最底部，一共显示 100 篇文章。因此，我们设置整个“循环翻页”步骤执行 5 次。选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5 次”，点击“确定”微信热门文章采集方法步骤 6步骤 3：创建列表循环并提取数据八爪鱼云采集服务平台1）移动鼠标，选中页面里第一条文章链接。系统会自动识别相似链接，在操作提示框中，选择“选中全部”微信热门文章采集方法步骤 72）选择“循环点击每个链接”八爪鱼云采集服务平台微信热门文章采集方法步骤 83）系统会自动进入文章详情页。点击需要采集的字段（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”。文章
5、发布时间、文章来源字段的采集方法同理八爪鱼云采集服务平台微信热门文章采集方法步骤 94）接下来开始采集文章正文。先点击文章正文的第一段，系统会自动识别页面内的同类元素，选择“选中全部”八爪鱼云采集服务平台微信热门文章采集方法步骤 105）可以看到，所有的正文段落均被选中，变为绿色。选择“采集以下元素文本”八爪鱼云采集服务平台微信热门文章采集方法步骤 11注意：在字段表中，可进行字段的自定义修改八爪鱼云采集服务平台微信热门文章采集方法步骤 126）经过如上操作，正文就会被全部采集下来（默认为每一段正文为一个单元格）。一般而言，我们希望采集的正文，合并为同一个单元格。点击“自定义数据字段”按钮，选
6、择“自定义数据合并方式”，勾选“同一字段多次提取合并为一行，即追加到同一字段，例如正文分页合并”，再点击“确定”八爪鱼云采集服务平台微信热门文章采集方法步骤 13“自定义数据字段”按钮八爪鱼云采集服务平台选择“自定义数据合并方式”微信热门文章采集方法步骤 14八爪鱼云采集服务平台如图进行勾选微信热门文章采集方法步骤 15步骤 4：修改 Xpath1）选中整个“循环步骤”，打开“高级选项”，可以看到，八爪鱼默认生成的是固定元素列表，定位的是前 20 篇文章的链接八爪鱼云采集服务平台微信热门文章采集方法步骤 162）在火狐浏览器中打开要采集的网页并观察源码。我们发现，通过此条Xpath：/DIVc
7、lass=main-left/DIV3/UL/LI/DIV2/H31/A，页面中所需的100 篇文章均被定位了八爪鱼云采集服务平台微信热门文章采集方法步骤 173）将修改后的 Xpath，复制粘贴到八爪鱼中所示位置，然后点击“确定”八爪鱼云采集服务平台微信热门文章采集方法步骤 18步骤 5：修改流程图结构我们继续观察，通过 5 次点击“加载更多内容”后，此网页加载出全部 100 篇文章。因而我们配置规则的思路是，先建立翻页循环，加载出全部 100 篇文章，再建立循环列表，提取数据1）选中整个“循环”步骤，将其拖出“循环翻页”步骤。如果不进行此项操作，那么将会出现很多重复数据八爪鱼云采集服务平台
8、微信热门文章采集方法步骤 19拖动完成后，如下图所示八爪鱼云采集服务平台微信热门文章采集方法步骤 20步骤 6：数据采集及导出1）点击左上角的“保存”，然后点击“开始采集”，选择“启动本地采集”八爪鱼云采集服务平台微信热门文章采集方法步骤 212）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出八爪鱼云采集服务平台微信热门文章采集方法步骤 223）这里我们选择 excel 作为导出为格式，数据导出后如下图八爪鱼云采集服务平台微信热门文章采集方法步骤 234）如上图，部分文章的正文没有采集到。那是因为，系统自动生成的文章正文的循环列表的 Xpath：/id=“
9、js_content“/P，定位不到此篇文章的正文。将 Xpath 修改为：/id=“js_content“/P，所有的文章正文均可被定位到八爪鱼云采集服务平台修改 Xpath 前微信热门文章采集方法步骤 24八爪鱼云采集服务平台修改 Xpath 后微信热门文章采集方法步骤 25步骤 7：增加判断条件通过前 6 个步骤，我们仅采集了微信文章里的文本内容，并不包括文章里的图片 URL。如果需要采集图片 URL，则需往规则里加入一个判断条件：对文章内八爪鱼云采集服务平台容列表进行判断，如果包含 img 元素（图片），则执行图片采集分支；如果不包含 img 元素（图片），则执行文本采集分支。同时，在
10、八爪鱼中，默认对左侧分支，设置判断条件，满足此判断条件，则执行左侧分支；默认最右侧分支为“不判断，总是执行该分支”，即当不满足左侧分支的判断条件时，则执行最右侧分支。回到此规则，即对左侧分支设置条件：如果包含 img 元素（图片），则执行左侧分支；如果不满足左侧条件分支的条件（即不包含 img 元素），则执行右侧分支。具体操作如下：1）从左侧工具栏，往流程中拖入一个“判断条件”步骤（选定图标拖住不放，拖入箭头所示的绿色加号位置）八爪鱼云采集服务平台微信热门文章采集方法步骤 262）流程图中出现判断条件。我们将“提取数据”步骤，移动到右侧分支中（绿色加号处）。再点击右侧分支，在出现的结果页面（分
11、支条件检测结果-检测结果总是 True）点击“确定”八爪鱼云采集服务平台将“提取元素”步骤，拖入右侧分支微信热门文章采集方法步骤 27八爪鱼云采集服务平台右侧分支-检测结果总是 True微信热门文章采集方法步骤 283）点击左侧分支，在出现的结果页面（分支条件检测结果-检测结果总是True）点击“确定”。然后对其设置判断条件：勾选“当前循环项包含元素”，输入元素 Xpath：/img（代表图片），再点击“确定”八爪鱼云采集服务平台点击左侧分支微信热门文章采集方法步骤 29八爪鱼云采集服务平台对左侧分支，设置判断条件微信热门文章采集方法步骤 304）左侧分支条件设置完毕后，再进行提取数据步骤。从
12、左侧工具栏，拖入一个“提取数据”步骤，到流程图中的左侧分支中（绿色加号处），然后选中页面内一张图片，在操作提示框中，选择“采集该图片地址”八爪鱼云采集服务平台拖入新的“提取数据”步骤，到左侧分支微信热门文章采集方法步骤 31八爪鱼云采集服务平台采集图片地址微信热门文章采集方法步骤 325）选中右侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义定位元素方式”，将红框中的“元素匹配的 Xpath”：/*id=“js_content“/p1/span1与“相对 Xpath”：/span1，记录下来八爪鱼云采集服务平台自定义定位元素方式微信热门文章采集方法步骤 33八爪鱼云采集服务平台元素匹配的 Xpath、“相对 Xpath”微信热门文章采集方法步骤 346）选中左侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义定位元素方式”，参照右侧分支相同位置的 Xpath 进行修改：“元素匹配的 Xpath”改为：/*id=“js_content“/p1/img1，“相对Xpath”改为：/img1，然后点击“确定”八爪鱼云采集服务平台微信热门文章采集方法步骤 357）选中左侧分支的“提取数据”步骤，点击“自定义数据字段”按钮，选择“自定义数据合并方式”
