1、requests模块。直接携带cookies请求页面。 找到url，发送post请求存储cookie。 2、selenium(浏览器自动处理cookie)。 找到相应的input标签，输入文本，点击登录。 3、scrapy直接带cookies。 找到url，发送post请求存储cookie。 # -*- coding: utf-8 -*- import scrapy import re   class GithubLoginSpider(scrapy.Spider):     name = …

说明 1、根据scrapy这个框架的运行特点，翻页必须和处理数据分开，不然无法执行。 2、确定url地址，构造 url 地址的请求对象，把请求交给引擎。 构造请求 scrapy.Request(url, callback) callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析。 实例  scrapy.Request(url, callback=None, method=’GET’, headers=None, body=None, cookies=None, meta=…

说明 1、定义从items.py文件中提取的字段。 2、scrapy.Item可以理解为更高级的字典，可以限制和验证键名。但是记住它不是字典。如果需要操作字典，可以使用dict()强制转换scrapy.Item。 实例 import scrapy   class MyspiderItem(scrapy.Item):     # define the fields for your item here like:     name = scrapy.Field()  # 讲师的名字     tit…

说明 1、定义item就是提前计划好哪些字段需要抓取，防止手误，因为定义好之后，系统会在运行过程中自动检查。 2、配置注释可以清楚地知道要抓取哪些字段。没有定义的字段不能抓取，目标字段少的时候可以用字典代替。 3、使用scrapy的某些特定组件需要Item支持，例如scrapy的ImagesPipeline管道类。 实例 class MyspiderItem(scrapy.Item):     name = scrapy.Field()   # 讲师的名字     title = scrapy.…