爬虫使用代理IP的效果

　　爬虫是现在非常火的一项技术，很多朋友都开始学习爬虫，因为现在互联网行业发展前景好，爬虫工程师的未来也非常乐观。

　　代理IP相当于一个信息中转站，它会代替客户端向服务器发送请求，并将服务器返回的响应转发给客户，相当于一个连接客户端和服务器的桥梁。正是代理IP的工作原理决定了它具有广泛的应用。

　　使用过爬虫的人应该都会遇到，就是爬取的时候IP会突然被网站封掉，这是因为大多数网站都会设置“反爬虫”措施。

　　为什么要反爬虫？因为爬虫会在短时间内发出大量请求，会影响正常用户的访问体验，严重的还会导致网站瘫痪，所以网站一般都会设置反爬虫措施。

　　由于存在反爬虫措施，所以爬虫的IP经常会被封禁。不过使用了动态IP代理的爬虫，就不会出现这种情况。因为动态代理IP每隔一段时间就会切换新的IP，如果IP被封禁了，换个IP就可以继续爬虫了。

　　普通的爬虫，如果使用了代理IP，就可以有效的解决反爬的问题，提高工作效率，这就是爬虫使用代理IP最大的效果。