Python网络爬虫中的同步与异步示例详解

一、同步与异步

#同步编程（同一时间只能做一件事，做完了才能做下一件事情）<-a_url-><-b_url-><-c_url->#异步编程 (可以近似的理解成同一时间有多个事情在做，但有先后)<-a_url-> <-b_url-> <-c_url-> <-d_url-> <-e_url->  <-f_url->  <-g_url->  <-h_url->  <--i_url-->   <--j_url-->

模板

import asyncio#函数名:做现在的任务时不等待，能继续做别的任务。async def donow_meantime_dontwait(url): response = await requests.get(url)#函数名:快速高效的做任务async def fast_do_your_thing(): await asyncio.wait([donow_meantime_dontwait(url) for url in urls])#下面两行都是套路，记住就好loop = asyncio.get_event_loop()loop.run_until_complete(fast_do_your_thing())

tips:

代码

import asyncioimport requestsimport timeimport aiohttpurls = ['https://book.douban.com/tag/小说','https://book.douban.com/tag/科幻', 'https://book.douban.com/tag/漫画','https://book.douban.com/tag/奇幻', 'https://book.douban.com/tag/历史','https://book.douban.com/tag/经济学']async def requests_meantime_dont_wait(url): print(url) async with aiohttp.ClientSession() as session: async with session.get(url) as resp:  print(resp.status)  print("{url} 得到响应".format(url=url))async def fast_requsts(urls): start = time.time() await asyncio.wait([requests_meantime_dont_wait(url) for url in urls]) end = time.time() print("Complete in {} seconds".format(end - start))loop = asyncio.get_event_loop()loop.run_until_complete(fast_requsts(urls))

gevent简介

gevent是一个python的并发库，它为各种并发和网络相关的任务提供了整洁的API。

gevent中用到的主要模式是greenlet，它是以C扩展模块形式接入Python的轻量级协程。 greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

猴子补丁

requests库是阻塞式的，为了将requests同步更改为异步。只有将requests库阻塞式更改为非阻塞，异步操作才能实现。

而gevent库中的猴子补丁（monkey patch），gevent能够修改标准库里面大部分的阻塞式系统调用。这样在不改变原有代码的情况下，将应用的阻塞式方法，变成协程式的（异步）。

代码

from gevent import monkeyimport geventimport requestsimport timemonkey.patch_all()def req(url): print(url) resp = requests.get(url) print(resp.status_code,url)def synchronous_times(urls): """同步请求运行时间""" start = time.time() for url in urls: req(url) end = time.time() print('同步执行时间 {} s'.format(end-start))def asynchronous_times(urls): """异步请求运行时间""" start = time.time() gevent.joinall([gevent.spawn(req,url) for url in urls]) end = time.time() print('异步执行时间 {} s'.format(end - start))urls = ['https://book.douban.com/tag/小说','https://book.douban.com/tag/科幻', 'https://book.douban.com/tag/漫画','https://book.douban.com/tag/奇幻', 'https://book.douban.com/tag/历史','https://book.douban.com/tag/经济学']synchronous_times(urls)asynchronous_times(urls)