首页 > 编程 > Python > 正文

python中数据爬虫requests库使用方法详解

2020-02-22 23:14:47
字体:
来源:转载
供稿:网友

一、什么是Requests

Requests 是Python语编写,基于urllib,采Apache2 Licensed开源协议的 HTTP 库。它urllib 更加方便,可以节约我们大量的工作,完全满足HTTP测试需求。

一句话——requests是python实现的简单易用的HTTP库

二、安装Requests库

进入命令行win+R执行

命令:pip install requests

项目导入:import requests

三、各种请求方式

直接上代码,不明白可以查看我的urllib的基本使用方法

import requestsrequests.post('http://httpbin.org/post')requests.put('http://httpbin.org/put')requests.delete('http://httpbin.org/delete')requests.head('http://httpbin.org/get')requests.options('http://httpbin.org/get')

这么多请求方式,都有什么含义,所以问下度娘:

    GET: 请求指定的页面信息,并返回实体主体。 HEAD: 只请求页面的首部。 POST: 请求服务器接受所指定的文档作为对所标识的URI的新的从属实体。 PUT: 从客户端向服务器传送的数据取代指定的文档的内容。 DELETE: 请求服务器删除指定的页面。 get 和 post比较常见 GET请求将提交的数据放置在HTTP请求协议头中 POST提交的数据则放在实体数据中

(1)、基本的GET请求

import requestsresponse = requests.get('http://httpbin.org/get')print(response.text)

返回值:

{ "args": {},  "headers": {  "Accept": "*/*",   "Accept-Encoding": "gzip, deflate",   "Connection": "close",   "Host": "httpbin.org",   "User-Agent": "python-requests/2.18.4" },  "origin": "183.64.61.29",  "url": "http://httpbin.org/get"}

(2)、带参数的GET请求

将name和age传进去

import requestsresponse = requests.get("http://httpbin.org/get?name=germey&age=22")print(response.text)
{ "args": {  "age": "22",   "name": "germey" },  "headers": {  "Accept": "*/*",   "Accept-Encoding": "gzip, deflate",   "Connection": "close",   "Host": "httpbin.org",   "User-Agent": "python-requests/2.18.4" },  "origin": "183.64.61.29",  "url": "http://httpbin.org/get?name=germey&age=22"}

或者使用params的方法:

import requestsdata = { 'name': 'germey', 'age': 22}response = requests.get("http://httpbin.org/get", params=data)print(response.text)

返回值一样

(3)、解析json

将返回值已json的形式展示:

import requestsimport jsonresponse = requests.get("http://httpbin.org/get")print(type(response.text))print(response.json())print(json.loads(response.text))print(type(response.json()))

返回值:

<class 'str'>
{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.18.4'}, 'origin': '183.64.61.29', 'url': 'http://httpbin.org/get'}

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表