解决“RecursionError”的问题

在学习爬虫的时候，在IP代理池使用的情况下，总是爬取到一大半的时候会弹出“RecursionError”的错误。

在学习爬虫的时候，在IP代理池使用的情况下，总是爬取到一大半的时候会弹出“RecursionError”的错误。经过多番资料查找，原因为：python默认的递归深度是很有限的（默认是1000），因此当递归深度超过999的样子，就会引发这样的一个异常。

解决方法：将递归深度调高

import sys
sys.setrecursionlimit(100000) #你想设置的递归深度（可为任意值）

有时候爆出这个错误，不能单单只用这种方法解决，更应该注重代码的优化。