那堵墙着实可恨！身处IT这个圈子，经常需要用gg查资料（你也可以用来访问1024，^_^...）。当然，你也可以用百度。其实也不是我不爱用百度，是有缘由的，且听我细细道来。有一次闲得蛋疼，想看看会不会有人抄袭我的博客（尽管博客学得不咋地），于是百度了一下，结果是惊人的。我发现我自己写的博客，即使是拿整个标题去搜索，往往搜不到，搜到的是一堆爬虫爬去的结果。具体是哪些，这里就不说了，各自可以拿自己的博客试一下。以前总是手工收集几个IP用一段时间，失效了以后再重新收集几个，如此反复，烦！于是，想着写个爬虫抓取代理IP，然后每次直接数据库里面找几个出来用就行了。然而，爬虫爬过来的IP有很多已经失效了。这时又沦落为手工测试，这不是为自己增添更多的烦恼吗？于是写个检测代理IP是否可用的程序，让程序帮我检测好了。这样每次我就可以拿到可用的代理IP了。由于爬虫是用scrapy写的，为了方便维护，IP检测就作为scrapy爬虫里面的一部分好了。于是有了下面这段检测的程序：
1、创建文件：checkproxy.py
#coding=utf-8
import urllib2
import urllib
import time
import socket
ip_check_url = 'http://www.google.com.hk/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'
socket_timeout = 30
# Check proxy
def check_proxy(protocol, pip):
try:
proxy_handler = urllib2.ProxyHandler({protocol:pip})
opener = urllib2.build_opener(proxy_handler)
# opener.addheaders = [('User-agent', user_agent)] #这句加上以后无法正常检测，不知道是什么原因。
urllib2.install_opener(opener)
req = urllib2.Request(ip_check_url)
time_start = time.time()
conn = urllib2.urlopen(req)
# conn = urllib2.urlopen(ip_check_url)
time_end = time.time()
detected_pip = conn.read()
proxy_detected = True
except urllib2.HTTPError, e:
print "ERROR: Code ", e.code
return False
except Exception, detail:
print "ERROR: ", detail
return False
return proxy_detected
def main():
socket.setdefaulttimeout(socket_timeout)
print
protocol = "http"
current_proxy = "212.82.126.32:80"
proxy_detected = check_proxy(protocol, current_proxy)
if proxy_detected:
print (" WORKING: " + current_proxy)
else:
print " FAILED: %s " % ( current_proxy, )
if __name__ == '__main__':
main()
2、测试：
[root@bogon proxyipspider]# python checkproxy.py WORKING: 212.82.126.32:80
当然，这只是程序的一个原型，真正检测的程序还需要结合数据库或文件操作来完成。代理IP检测出来了，那么剩下的就是设置了。设置好以后，尽情地gg吧。1024你想看多久就看多久，不过还是不要看多为好，你懂的。如果你想上脸谱、油土鳖和推特，这些就靠你自己了，这里只是gg而已。
程序猿嘛，总是想通过自己的双手来解决点问题。那颗change the world的心没有变，就像博客园的口号那样“代码改变世界”。看到哪个东西不爽，自己造一个吧。IT界这样的例子太多了，天天用的Vi、github等等。好了，就到这，1024去，走起。。。
那道墙着实可恨！
版权声明：
本站所有资源均为站长或网友整理自互联网或站长购买自互联网，站长无法分辨资源版权出自何处，所以不承担任何版权以及其他问题带来的法律责任，如有侵权或者其他问题请联系站长删除！站长QQ754403226 谢谢。
评论