1、爬虫之所以需要爬虫ip代理，是因为程序员在爬虫的过程中经常会遇到目标网站的防虫技术，或者爬虫工作者因为收集量太大，收集速度太快，给对方的服务器带来很大压力。所以一直用同一个IP地址爬一个网页，IP被禁的可能性很大，所以一般爬虫工作者无法避免IP问题，需要大量的爬虫ip代理来实现自己的IP地址不断切换，达到正常抓取信息的目的。 2、在业务量大、数据多的情况下，爬虫工作者没有精力和时间维护服务器和ip代理池，技术含量和经济成本不合适。因此，在大多数情况下，有些人会找到一些免费的ip代理商，网上发…

比较说明 1、break和continue是python两个关键字 2、break和continue只能用在循环中 3、break是终止循环的执行, 即循环代码遇到break，就不再循环了。 continue是结束本次循环，继续下一次循环, 即本次循环剩下的代码不再执行，但会进行下一次循环。 实例 Break # 有五个苹果 # 1. 吃了三个苹果之后, 吃饱了.后续的苹果不吃了 # 2. 吃了三个苹果之后.在吃第四个苹果,发现了半条虫子,这个苹果不吃了,还要吃剩下的苹果   for i in …

格式说明 1、顶格书写的代码，代表和 if 判断没有关系。 2、在python中使用缩进，代替代码的层级关系，在if语句的缩进内，属于if语句的代码块(多行代码的意思)。 if 判断条件:     判断条件为 True,会执行的代码     判断条件为 True,会执行的代码     … 实例 “”” 案例需求 1.通过用户键盘输入，获取年龄 2.判断年龄是否满足18，满足输出 本人18岁了，成年了 3. 程序最后 “””   # 1.获取年龄 input() age = input(‘请输…

1、通过计数器变量count来统计，用于统计字符串里某个字符出现的次数。 In [66]: name_list = [‘hui’, ‘zack’, ‘wang’]   In [67]: count = 0   In [68]: for name in name_list:     …:     print(count)     …:     print(name)     …:     count = count + 1     …: hui 1 zack 2 wang 2、通过…

禁用说明 1、只需要在需要禁用日志的地方插入logging.disable(logging.logging_level)即可。 2、后面的logging对应的loggle_level函数都会失效，禁用的级别一定要对应代码中写的那个级别对应。 实例 n = 0     try:         print(10 / n)     except Exception as e:         print(‘e:’,e)         logging.error(e) logger.error(“发…

常见错误说明 1、在执行finally之前，try中的产生的异常将会被临时保存起来，当finally的代码执行完成后，再抛出异常; 但当finally中存在raise或return或break时， try中的异常将会被抛弃。 2、如果在try块语句中存在return的同时又存在finally块语句，那么将会在执行try块语句中return语句之前去执行finally语句块，然后再回来执行try块语句中return语句。但是在finally块语句中存在return语句，整个函数已结束，所以try块…

1、可以实例化一个tqdm类，然后通过传参和调用tqdm类中的方法来实现定制。 import time from tqdm import tqdm   pbar = tqdm(range(100), desc=”My Processing: “) for i in pbar: time.sleep(0.1) pbar.close() 2、类似于打开文件的操作，一个实例化的tqdm在使用完毕后通过close()方法进行清理。我们也可以像文件操作那样，使用with语句来避免这些麻烦的操作，让它在使用…

问题说明 如果发现爬取到的数据和页面正常显示的数据不一样，或者说爬取的是空白数据，那很有可能是由于网站创建页的程序有问题。假如爬取频率高过了网站的设置阀值，就会被禁止访问。 解决办法 爬虫开发人员一般采用两种方式来处理。 1、调慢爬取速度，减少对目标网站产生的压力。可是如此一来会减少单位时间内的爬取量。 2、利用设置ip代理的方式，突破反爬虫机制继续高频率爬取，可是如此一来要很多个稳定的ip代理，想要更好的爬取足够的数据必须使用高质量ip代理才行。 每日分享到群里，或者推荐给朋友会得大量积分，机…

1、说明 tqdm是一个方便且易于扩展的Python进度条，可以在python执行长循环时在命令行界面实时地显示一个进度提示信息，包括执行进度、处理速度等信息，且可在一定程度上进行定制。 2、使用pip来安装tqdm模块 pip install tqdm 3、tqdm使用方法 tqdm.tqdm(可迭代对象) ，括号中的可迭代对象可以是个list，tuple等。 from tqdm import tqdm,trange import time   a = [1,2,3]   for i in t…

说明 1、在类定义体中，self指的是实例化的对象。 2、不跟随self的属性属于类属性。 3、可采用__init__()函数定制初始化模式。 4、属于类的方法是共享的，属于对象的方法是每个对象私有的。 实例 class Model:     name = “DNN”          def ___init__(self, name):         self.name = name                   def main():     cnnmodel = Model(“CN…