Python多进程并发与多线程并发编程实例总结

本文实例总结了Python多进程并发与多线程并发。分享给大家供大家参考，具体如下：

这里对python支持的几种并发方式进行简单的总结。

Python支持的并发分为多线程并发与多进程并发（异步IO本文不涉及）。概念上来说，多进程并发即运行多个独立的程序，优势在于并发处理的任务都由操作系统管理，不足之处在于程序与各进程之间的通信和数据共享不方便；多线程并发则由程序员管理并发处理的任务，这种并发方式可以方便地在线程间共享数据（前提是不能互斥）。Python对多线程和多进程的支持都比一般编程语言更高级，最小化了需要我们完成的工作。

一.多进程并发

Mark Summerfield指出，对于计算密集型程序，多进程并发优于多线程并发。计算密集型程序指的程序的运行时间大部分消耗在CPU的运算处理过程，而硬盘和内存的读写消耗的时间很短；相对地，IO密集型程序指的则是程序的运行时间大部分消耗在硬盘和内存的读写上，CPU的运算时间很短。

对于多进程并发，python支持两种实现方式，一种是采用进程安全的数据结构：multiprocessing.JoinableQueue，这种数据结构自己管理“加锁”的过程，程序员无需担心“死锁”的问题；python还提供了一种更为优雅而高级的实现方式：采用进程池。下面一一介绍。

1.队列实现——使用multiprocessing.JoinableQueue

multiprocessing是python标准库中支持多进程并发的模块，我们这里采用multiprocessing中的数据结构：JoinableQueue，它本质上仍是一个FIFO的队列，它与一般队列（如queue中的Queue)的区别在于它是多进程安全的，这意味着我们不用担心它的互斥和死锁问题。JoinableQueue主要可以用来存放执行的任务和收集任务的执行结果。举例来看（以下皆省去导入包的过程）：

def read(q):  while True:    try:      value = q.get()      print('Get %s from queue.' % value)      time.sleep(random.random())    finally:      q.task_done()def main():  q = multiprocessing.JoinableQueue()  pw1 = multiprocessing.Process(target=read, args=(q,))  pw2 = multiprocessing.Process(target=read, args=(q,))  pw1.daemon = True  pw2.daemon = True  pw1.start()  pw2.start()  for c in [chr(ord('A')+i) for i in range(26)]:    q.put(c)  try:    q.join()  except KeyboardInterrupt:    print("stopped by hand")if __name__ == '__main__':  main()

对于windows系统的多进程并发，程序文件里必须含有“入口函数”（如main函数），且结尾处必须调用入口点。例如以if __name__ == '__main__': main()结尾。

在这个最简单的多进程并发例子里，我们用多进程实现将26个字母打印出来。首先定义一个存放任务的JoinableQueue对象，然后实例化两个Process对象（每个对象对应一个子进程），实例化Process对象需要传送target和args参数，target是实现每个任务工作中的具体函数，args是target函数的参数。