说明 1、定义从items.py文件中提取的字段。 2、scrapy.Item可以理解为更高级的字典，可以限制和验证键名。但是记住它不是字典。如果需要操作字典，可以使用dict()强制转换scrapy.Item。 实例 import scrapy   class MyspiderItem(scrapy.Item):     # define the fields for your item here like:     name = scrapy.Field()  # 讲师的名字     tit…

爬虫抓取数据中经常存在IP被禁的问题，这是目标网站的反爬虫策略。访问网站时，我们的IP会被记录下来。一旦访问频率过高，就会被认定为爬虫，禁止访问该IP。 1、当python网络爬虫收集数据资料时，经常会遇到目标平台网站的反网络爬虫机制，轻一点就被关在小黑屋里一段时间，重一点的立即封禁电脑ip地址，想再浏览都很难。此时python网络爬虫需要及时更换IP，您也可以在网上找到免费IP，或者购买专业代理IP，前一种IP数量少，产品质量差，优点是便宜。但随着数据采集规模的不断扩大，免费ip根本无法应对如…

说明 1、定义item就是提前计划好哪些字段需要抓取，防止手误，因为定义好之后，系统会在运行过程中自动检查。 2、配置注释可以清楚地知道要抓取哪些字段。没有定义的字段不能抓取，目标字段少的时候可以用字典代替。 3、使用scrapy的某些特定组件需要Item支持，例如scrapy的ImagesPipeline管道类。 实例 class MyspiderItem(scrapy.Item):     name = scrapy.Field()   # 讲师的名字     title = scrapy.…

说明 1、hdf5不支持用其他浏览器打开，建议写一个代码来进行读取。  2、读取HDF5文件中的所有数据集，然后传输到路径。 实例 # 读取HDF5文件中的所有数据集 def traverse_datasets(hdf_file):     import h5py       def h5py_dataset_iterator(g, prefix=”):         for key in g.keys():             item = g[key]             pat…

说明 1、Task是Future的子类，Task是对协程的封装，我们把多个Task放在循环调度列表中，等待调度执行。 2、Task对象可以跟踪任务和状态。Future(Task是Futrue的子类)为我们提供了异步编程中最终结果的处理(Task类还具有状态处理功能)。 3、把协程封装成Task，加入一个队列等待调用。刚创建Task的时候不执行，遇到await就执行。 实例 import asyncio   async def func(): print(1) await asyncio.slee…

1、导入整个模块，模块内包含一个函数，import语句指定模块名，就可以在程序中使用该模块的所有函数。 import pizza 2、调用导入模块中的函数，可指定被导入模块名称和函数名，并用.句点分隔。 pizza.make_pizza(16, ‘pepperoni’) # >>> Making a 16-inch pizza with the following toppings: # >>> pepperoni   pizza.make_pizza(12,…

说明 1、在形参名前加两个星号**，表示创建一个名为形参的空字典，用来存储任意数量的键值对。 2、形参名**user_info中的两个星号允许Python创建一个名为user_info的空字典，并将收到的所有名称值对放入字典。 实例 #使用任意数量的关键字实参 def build_profile(first, last, **user_info):     ”’创建一个字典，其中包含我们知道的有关用户的一切。”’     user_info[‘first_name’] = first    …

说明 1、Python允许函数从调用语句中收集任意数量的实际参数。 2、在形参名前加一个星号*，表示创建一个名为形参的空列表，以存储任意数量的实参。 实例 # 传递任意数量的实参 #形参名 *toppings 中的 星号 让Python创建一个名为 toppings 的空元组，并将收到的所有值封装到元组中。 def make_pizza(size, *toppings): # 若是接受不同类型的实参，必须在函数定义中将接纳任意数量的形参放在最后面。                        …

说明 1、赋值运算符用=表示，=左边是变量，=右边是对象。赋值运算符左右两边的元素个数必须是相同的，否则会抛出ValueError。 2、赋值语句：变量=对象，相当于给对象贴上标签，标签名就是变量名。 实例 i = 18 print(i)    # 18 i = 23 print(i)    # 23   # 变量i引用了另一种数据类型的对象(不推荐) i = ‘Hello’ print(i)    # Hello 每日分享到群里，或者推荐给朋友会得大量积分，机会可以兑换微信零钱红包，具体请点击…

1、赋值运算符支持链式赋值。如果想让多个变量同时引用同一个对象，可以使用链式赋值。 a = b = c = 18 print(a)    # 18 print(b)    # 18 print(c)    # 18 2、赋值运算符支持参数赋值，可在赋值运算符左侧添加其他运算符，实现参数赋值。参数赋值可以使代码更加简洁，而且可读性更强。 例如：+=、-=、*=、/=、%=     a += b 相当于：a = a + b     a -= b 相当于：a = a – b 每日分享到群里，或者推荐给…