python爬虫之urllib,伪装,超时设置,异常处理的方法

Urllib

1. Urllib.request.urlopen().read().decode()

返回一个二进制的对象，对这个对象进行read()操作，可以得到一个包含网页的二进制字符串，然后用decode()解码成html源码

2. urlretrieve()

将一个网页爬取到本地

3. urlclearup()

清除 urlretrieve()所产生的缓存

4. info()

返回一个httpMessage对象，表示远程服务器的头信息

5. getcode()

获取当前网页的状态码 200代表成功，404网页未找到

6. geturl()

获取当前爬取页面的网址

示例：

from urllib import request# urlretrieve() -- 将一个网页爬取到本地request.urlretrieve("http://www.baidu.com",filename="demo.html")# urlclearup() -- 清除urlretrieve()所产生的缓存request.urlcleanup()# info() -- 返回一个httpMessage对象,表示远程服务器的头信息data = request.urlopen("http://www.taobao.com")print(data.info())# getcode() -- 获取当前网页的状态码data.geturl()print(data.getcode())# 获取当前爬取页面的网址print(data.geturl())

运行结果：

Server: TengineDate: Wed, 09 May 2018 09:55:16 GMTContent-Type: text/html; charset=utf-8Transfer-Encoding: chunkedConnection: closeVary: Accept-EncodingX-Snapshot-Age: 1Content-MD5: tkjcPUrHBAIt2N/YXcuwZg==Vary: Ali-Detector-Type, X-CIP-PTCache-Control: max-age=0, s-maxage=89ETag: W/"29b8-16340528168"Via: cache22.l2cm9[0,304-0,H], cache17.l2cm9[0,0], cache1.cn372[0,200-0,H], cache2.cn372[1,0]Age: 70X-Cache: HIT TCP_MEM_HIT dirn:-2:-2 mlen:-1X-Swift-SaveTime: Wed, 09 May 2018 09:54:59 GMTX-Swift-CacheTime: 36Timing-Allow-Origin: *EagleId: 3c1cf2e515258597167937091eSet-Cookie: thw=cn; Path=/; Domain=.taobao.com; Expires=Thu, 09-May-19 09:55:16 GMT;Strict-Transport-Security: max-age=31536000200https://www.taobao.com/

超时设置(timeout)

由于在实际的爬取过程中，部分网站可能访问过慢，影响性能，这时我们可设置超时访问.

示例： 如果在指定时间内正常访问，即输出获取数据的长度，如果超出指定时间，则抛出异常.

for i in range(0,10): try:  data = urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()  print(len(data)) except Exception as e:  print("出现异常:"+str(e))

运行结果：

114980114888114809114839114824114611出现异常:<urlopen error timed out>出现异常:<urlopen error timed out>出现异常:<urlopen error timed out>115003

伪装

在爬取过程中，可能部分网站限制浏览器访问所以为了顺利达到我们的目的，我们对自己进行伪装.

这里我们介绍一下浏览器的伪装技术.

普通爬取：

from urllib import requestfile = request.urlopen("http://www.baidu.com").read().decode()

通过浏览器伪装爬取数据：