怎么获得稳定的代理IP提高爬虫工作效率

代理ip是网络爬虫不可缺少的部分，随着大数据的兴起，每个网站都有自己的庞大的数据信息和每天的更新，个个网站也对自己的网站加强自我保护及信息流失，增加了网站反爬虫机制，在网站加以限制的情况下，怎么通过爬虫在这种情况下快速采集，有效的提高工作效率。

一：使用多线程+代理ip

1.1）多线程方式：使用多线程同时进行工作采集，（比如：个人的工作，增加到三个人做）迅速提高工作效率和缩短采集时间，前提需要注意充足稳定的代理ip和电脑有足够的内存支撑。

1.2）提高抓取频率：爬虫进行时会出现验证信息时进行破解，一般为验证码和用户登录，在破解的同时加快抓取频率，

二、如何获得充足稳定的代理IP

2.1）抓取免费代理：通常一般是找一些有免费代理的服务平台，然后进入提取ip，提取之后，因为免费代理ip效率比较低，所以要全部筛选一遍，进行对免费代理ip进行验证是否有效，可以使用免费代理IP，怎么抓取免费代理IP呢？又如何多线程验证代理IP是否有效，这样在使用中可以节约一些时间。

2.2）多线程验证ip：如果按顺序逐个验证代理IP的有效性速度比较慢，python中有多线程模块，多线程类似于同时执行多个不同程序，使用多线程可以把占据长时间的程序中的任务放到后台去处理，在一些需要等待的任务实现上线程就比较有用了。

虽然是能获取到免费的代理ip，但是我还是不建议大家使用，因为免费代理ip需要耗费大量的时间去抓取，筛选，验证，后再放入自己的ip池中，而且必须要囤积大量的ip，怕后续代理ip不够量支撑工作的完成，使用还不确定ip来源是否安全和高匿，虽然开心代理的免费代理经过了一些技术性的处理和筛选，但对于一个专业的爬虫工作者是很少会使用的。