python3使用requests模块爬取页面内容的实战演练

1.安装pip

我的个人桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功，查看PIP版本：

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装：

$ pip install requests

运行import requests，如果没提示错误，那说明已经安装成功了！

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注：这里我使用的是python3的安装方式，如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1）发送请求

首先当然是要导入 Requests 模块：

>>> import requests

然后，获取目标抓取网页。这里我以下为例：

>>> r = requests.get('//www.jb51.net/article/124421.htm')

这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法，所以举一反三你也可以将其替换为put、delete、post、head。

2）传递URL参数

有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。

举例来说，当我们google搜索“python爬虫”关键词时，newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ，那么你可以使用如下代码：

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}>>> r = requests.get("https://www.google.com/search", params=payload)

3）响应内容

通过r.text或r.content来获取页面响应内容。

>>> import requests>>> r = requests.get('https://github.com/timeline.json')>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别，简单说：

resp.text返回的是Unicode型的数据；