说明 1、过滤需要selenium渲染的request。Downloader模块无法应对，需要使用Selenium来处理ajax延迟加载。 2、返回HtmlResponse，请求不会达到Downloader，而是直接通过引擎交给爬虫。 实例 from sklearn.pipeline import Pipeline from sklearn.svm import SVC from sklearn.decomposition import PCA estimators = [(‘reduce_di…

说明 1、在使用之前需要在settings中打开。 2、pipeline在settings中键表示位置(即pipeline在项目中的位置可以自定义)，值表示离引擎的距离，越近数据越先通过：权重值小的优先执行。 3、当pipeline较多时，process_item的方法必须是returnitem，否则后一个pipeline获得的数据就是None值。 pipeline中必须有process_item方法，否则item无法接收和处理。 实例 from sklearn.pipeline import …

说明 1、使用scrapy.Request()指定method,body参数发送post请求。 2、使用scrapy.FormRequest()发送post请求，也可以发送表格和ajax请求。 实例 import scrapy     class Git2Spider(scrapy.Spider):     name = ‘git2’     allowed_domains = [‘github.com’]     start_urls = [‘http://github.com/login’]…

网络数据采集过程本身非常复杂。除了爬虫程序复杂之外，被抓取目标网站设置的反爬虫机制的解决也是一个大问题。尤其是遇到一些大型网站，需要更多的时间和精力。 1、高效的代理IP。代理IP相当于分身。被反爬虫机制封杀IP，可以用代理IP换IP继续抓取。但是需要注意的是，使用高效的代理IP后，不能忽视反爬虫。合理安排爬虫程序也可以节省代理IP资源，否则需要更多的成本购买代理，也会影响效率。 2、分布式爬虫。爬虫程序可以分为多个机器，每个机器的爬虫都有不同的IP地址，可以提高抓取效率。 从提高爬虫成功率到爬…

1、requests模块。直接携带cookies请求页面。 找到url，发送post请求存储cookie。 2、selenium(浏览器自动处理cookie)。 找到相应的input标签，输入文本，点击登录。 3、scrapy直接带cookies。 找到url，发送post请求存储cookie。 # -*- coding: utf-8 -*- import scrapy import re   class GithubLoginSpider(scrapy.Spider):     name = …

说明 1、在scrapy中，start_url是由start_requests处理的，通过重写这种方法，start_url可以携带请求头信息。 2、cookie不能放在scrapy中的headers中，在构建请求时有专门的cookies参数，可以接收字典形式的cookie。 可能需要在settings中设置ROBOTS协议和USER_AGENT。 实例 import scrapy     class Git1Spider(scrapy.Spider):     name = ‘git1’    …

说明 1、meta可以在不同的解析函数中传输数据，meta参数对应的值必须是字典。 2、meta通过Request产生时传进去，通过Response对象中取出来。 3、meta字典中有一个固定的键proxy，表示代理ip。 实例 def parse(self, response):     …     yield scrapy.Request(detail_url, callback=self.parse_detail, meta={‘item’: item})     …     de…

说明 1、根据scrapy这个框架的运行特点，翻页必须和处理数据分开，不然无法执行。 2、确定url地址，构造 url 地址的请求对象，把请求交给引擎。 构造请求 scrapy.Request(url, callback) callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析。 实例  scrapy.Request(url, callback=None, method=’GET’, headers=None, body=None, cookies=None, meta=…

说明 1、定义从items.py文件中提取的字段。 2、scrapy.Item可以理解为更高级的字典，可以限制和验证键名。但是记住它不是字典。如果需要操作字典，可以使用dict()强制转换scrapy.Item。 实例 import scrapy   class MyspiderItem(scrapy.Item):     # define the fields for your item here like:     name = scrapy.Field()  # 讲师的名字     tit…

爬虫抓取数据中经常存在IP被禁的问题，这是目标网站的反爬虫策略。访问网站时，我们的IP会被记录下来。一旦访问频率过高，就会被认定为爬虫，禁止访问该IP。 1、当python网络爬虫收集数据资料时，经常会遇到目标平台网站的反网络爬虫机制，轻一点就被关在小黑屋里一段时间，重一点的立即封禁电脑ip地址，想再浏览都很难。此时python网络爬虫需要及时更换IP，您也可以在网上找到免费IP，或者购买专业代理IP，前一种IP数量少，产品质量差，优点是便宜。但随着数据采集规模的不断扩大，免费ip根本无法应对如…