其实对于许多网站都是有反爬虫机制的，如果直接用之前的程序进行访问，可能站点直接就不会响应，不如爬取糗事百科的时候，代码如下：
#coding:utf-8from urllib.request import urlopenfrom urllib.request import Requesthtml = 'http://www.qiushibaike.com/hot/page/1'request = Request(html)response = urlopen(request)PRint(response.read())不出意外的报错了，但是若我们模拟浏览器来访问时就不会，如何来模拟浏览器来访问呢，那么需要设置一下Headers的属性。 首先，打开自己使用的浏览器（Chrome），然后按F12，打开网络监听 
然后点击Network，这里就可以看到访问网页时的许许多多的请求， 
然后随便点一条请求来看,就可以看到Request URL，还有headers，下面还有请求的 agent（请求的身份）。 如果没有写入请求身份,那么服务器不一定会响应,所以可以在 headers中设置agent， ，然后再构建request时传入,服务器若识别了是浏览器发来的请求，就会得到响应， 代码如下：
还有一些headers的另外一些属性需要注意一下
User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求 Content-Type : 在使用 REST 接口时，服务器会检查该值，用来确定 HTTP Body 中的内容该怎样解析。 application/xml ： 在 XML RPC，如 RESTful/SOAP 调用时使用 application/json ： 在 JSON RPC 调用时使用 application/x-www-form-urlencoded ： 浏览器提交 Web 表单时使用 在使用服务器提供的 RESTful 或 SOAP 服务时， Content-Type 设置错误会导致服务器拒绝服务
新闻热点
疑难解答
