Python实现多线程抓取网页功能实例详解

本文实例讲述了Python实现多线程抓取网页功能。分享给大家供大家参考，具体如下：

最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。

1、larbin的URL去重用的很高效的bloom filter算法；
2、DNS处理，使用的adns异步的开源组件；
3、对于url队列的处理，则是用部分缓存到内存，部分写入文件的策略。
4、larbin对文件的相关操作做了很多工作
5、在larbin里有连接池，通过创建套接字，向目标站点发送HTTP协议中GET方法，获取内容，再解析header之类的东西
6、大量描述字，通过poll方法进行I/O复用，很高效
7、larbin可配置性很强
8、作者所使用的大量数据结构都是自己从最底层写起的，基本没用STL之类的东西
......

还有很多，以后有时间在好好写篇文章，总结下。

这两天，用python写了个多线程下载页面的程序，对于I/O密集的应用而言，多线程显然是个很好的解决方案。刚刚写过的线程池，也正好可以利用上了。其实用python爬取页面非常简单，有个urllib2的模块，使用起来很方便，基本两三行代码就可以搞定。虽然使用第三方模块，可以很方便的解决问题，但是对个人的技术积累而言没有什么好处，因为关键的算法都是别人实现的，而不是你自己实现的，很多细节的东西，你根本就无法了解。 我们做技术的，不能一味的只是用别人写好的模块或是api，要自己动手实现，才能让自己学习得更多。

我决定从socket写起，也是去封装GET协议，解析header，而且还可以把DNS的解析过程单独处理，例如DNS缓存一下，所以这样自己写的话，可控性更强，更有利于扩展。对于timeout的处理，我用的全局的5秒钟的超时处理，对于重定位（301or302）的处理是，最多重定位3次，因为之前测试过程中，发现很多站点的重定位又定位到自己，这样就无限循环了，所以设置了上限。具体原理，比较简单，直接看代码就好了。

自己写完之后，与urllib2进行了下性能对比，自己写的效率还是比较高的，而且urllib2的错误率稍高一些，不知道为什么。网上有人说urllib2在多线程背景下有些小问题，具体我也不是特别清楚。

先贴代码：

fetchPage.py  使用Http协议的Get方法，进行页面下载，并存储为文件

'''Created on 2012-3-13Get Page using GET methodDefault using HTTP Protocol , http port 80@author: xiaojay'''import socketimport statisticsimport datetimeimport threadingsocket.setdefaulttimeout(statistics.timeout)class Error404(Exception):  '''Can not find the page.'''  passclass ErrorOther(Exception):  '''Some other exception'''  def __init__(self,code):    #print 'Code :',code    passclass ErrorTryTooManyTimes(Exception):  '''try too many times'''  passdef downPage(hostname ,filename , trytimes=0):  try :    #To avoid too many tries .Try times can not be more than max_try_times    if trytimes >= statistics.max_try_times :      raise ErrorTryTooManyTimes  except ErrorTryTooManyTimes :    return statistics.RESULTTRYTOOMANY,hostname+filename  try:    s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)    #DNS cache    if statistics.DNSCache.has_key(hostname):      addr = statistics.DNSCache[hostname]    else:      addr = socket.gethostbyname(hostname)      statistics.DNSCache[hostname] = addr    #connect to http server ,default port 80    s.connect((addr,80))    msg = 'GET '+filename+' HTTP/1.0/r/n'    msg += 'Host: '+hostname+'/r/n'    msg += 'User-Agent:xiaojay/r/n/r/n'    code = ''    f = None    s.sendall(msg)    first = True    while True:      msg = s.recv(40960)      if not len(msg):        if f!=None:          f.flush()          f.close()        break      # Head information must be in the first recv buffer      if first:        first = False        headpos = msg.index("/r/n/r/n")        code,other = dealwithHead(msg[:headpos])        if code=='200':          #statistics.fetched_url += 1          f = open('pages/'+str(abs(hash(hostname+filename))),'w')          f.writelines(msg[headpos+4:])        elif code=='301' or code=='302':          #if code is 301 or 302 , try down again using redirect location          if other.startswith("http") :            hname, fname = parse(other)            downPage(hname,fname,trytimes+1)#try again          else :            downPage(hostname,other,trytimes+1)        elif code=='404':          raise Error404        else :          raise ErrorOther(code)      else:        if f!=None :f.writelines(msg)    s.shutdown(socket.SHUT_RDWR)    s.close()    return statistics.RESULTFETCHED,hostname+filename  except Error404 :    return statistics.RESULTCANNOTFIND,hostname+filename  except ErrorOther:    return statistics.RESULTOTHER,hostname+filename  except socket.timeout:    return statistics.RESULTTIMEOUT,hostname+filename  except Exception, e:    return statistics.RESULTOTHER,hostname+filenamedef dealwithHead(head):  '''deal with HTTP HEAD'''  lines = head.splitlines()  fstline = lines[0]  code =fstline.split()[1]  if code == '404' : return (code,None)  if code == '200' : return (code,None)  if code == '301' or code == '302' :    for line in lines[1:]:      p = line.index(':')      key = line[:p]      if key=='Location' :        return (code,line[p+2:])  return (code,None)def parse(url):  '''Parse a url to hostname+filename'''  try:    u = url.strip().strip('/n').strip('/r').strip('/t')    if u.startswith('http://') :      u = u[7:]    elif u.startswith('https://'):      u = u[8:]    if u.find(':80')>0 :      p = u.index(':80')      p2 = p + 3    else:      if u.find('/')>0:        p = u.index('/')        p2 = p      else:        p = len(u)        p2 = -1    hostname = u[:p]    if p2>0 :      filename = u[p2:]    else : filename = '/'    return hostname, filename  except Exception ,e:    print "Parse wrong : " , url    print edef PrintDNSCache():  '''print DNS dict'''  n = 1  for hostname in statistics.DNSCache.keys():    print n,'/t',hostname, '/t',statistics.DNSCache[hostname]    n+=1def dealwithResult(res,url):  '''Deal with the result of downPage'''  statistics.total_url+=1  if res==statistics.RESULTFETCHED :    statistics.fetched_url+=1    print statistics.total_url , '/t fetched :', url  if res==statistics.RESULTCANNOTFIND :    statistics.failed_url+=1    print "Error 404 at : ", url  if res==statistics.RESULTOTHER :    statistics.other_url +=1    print "Error Undefined at : ", url  if res==statistics.RESULTTIMEOUT :    statistics.timeout_url +=1    print "Timeout ",url  if res==statistics.RESULTTRYTOOMANY:    statistics.trytoomany_url+=1    print e ,"Try too many times at", urlif __name__=='__main__':  print 'Get Page using GET method'