《一种解决Web证书认证的爬虫方法》由会员分享,可在线阅读,更多相关《一种解决Web证书认证的爬虫方法(1页珍藏版)》请在金锄头文库上搜索。
19中华人民共和国国家学问产权局12制造专利申请21申请号 CN202111405633.022申请日 2021.12.2271申请人 成都优易数据10申请公布号CN107944055A43申请公布日 2021.04.20地址 611730 四川省成都市郫县德源镇(菁蓉小镇创业公社)大禹东路 66 号 3 栋 9 楼901 室附-172制造人 王晓斌;傅玉生;勇萌哲;田坤鹏74专利代理机构 成都弘毅天承学问产权代理代理人 徐金琼51Int.CI权利要求说明书 说明书幅图54制造名称一种解决 Web 证书认证的爬虫方法57摘要本制造公开了一种解决 Web 证书认证的爬虫方法,涉及有证书的 Web 爬虫方法领域;其包括步骤 1:猎取目标网站的 Web 证书后依据证书的类型选择不同的方式导入证书猎取 Scrapy 爬虫框架访问 URL 的权限;步骤 2:在 Scrapy 爬虫框架的下载中间件 DownLoad Middleware 中集成自动化工具 Selenium 实现 Scrapy 爬虫框架访问URL 暨模拟为扫瞄器访问;步骤 3:基于步骤 2 进