首页 > 编程 > Python > 正文

Python multiprocessing多进程原理与应用示例

2020-02-16 01:25:40
字体:
来源:转载
供稿:网友

本文实例讲述了Python multiprocessing多进程原理与应用。分享给大家供大家参考,具体如下:

multiprocessing包是Python中的多进程管理包,可以利用multiprocessing.Process对象来创建进程,Process对象拥有is_alive()join([timeout])run()start()terminate()等方法。

multprocessing模块的核心就是使管理进程像管理线程一样方便,每个进程有自己独立的GIL,所以不存在进程间争抢GIL的问题,在多核CPU环境中,可以大大提高运行效率。

multiprocessing使用示例:

import multiprocessingimport timeimport cv2def daemon1(image):  name = multiprocessing.current_process().name  for i in range(50):    image = cv2.GaussianBlur(image, (3, 3), 1)    time.sleep(0.1)  print 'daemon1 done!'  cv2.imshow('daemon1', image)def daemon2(image):  name = multiprocessing.current_process().name  for i in range(50):    image = cv2.GaussianBlur(image, (3, 3), 1)    time.sleep(0.5)  print 'daemon2 done!'  cv2.imshow('daemon2', image)if __name__ == '__main__':  t1 = time.time()  number_kernel = multiprocessing.cpu_count()  print 'We have {0} kernels'.format(number_kernel)  p1 = multiprocessing.Process(name='daemon1',                target=daemon1,args= (cv2.imread('./p1.jpg'),))  p1.daemon = False  p2 = multiprocessing.Process(name='daemon2',                target=daemon2, args=(cv2.imread('./p2.jpg'),))  p2.daemon = False  p1.start()  p2.start()  print 'p1 is {0}'.format(p1.is_alive())  p1.terminate()  p1.join()  print 'p1 is {0}'.format(p1.is_alive())  print 'p2 is {0}'.format(p2.is_alive())  p2.join()  t2 = time.time()  print '!!!!!!!!!!!!!!!!!!!!OK!!!!!!!!!!!!!!!!!!!!!'  print 'total time is {0}'.format(t2-t1)  print 'p1.exitcode = {0}'.format(p1.exitcode)  print 'p2.exitcode = {0}'.format(p2.exitcode)

multiprocessing中Process是一个类,用于创建进程,以及定义进程的方法,Process类的构造函数是:

def __init__(self, group=None, target=None, name=None, args=(), kwargs={})

参数含义:

group:进程所属组,基本不用 target: 创建进程关联的对象,需要传入要多进程处理的函数名 name: 定义进程的名称 args: 表示与target相关联的函数的传入参数,可以传入多个,注意args是一个元组,如果传入的参数只有一个,需要表示为 args = (element1,) kwargs: 表示调用对象的字典

程序解读:

multiprocessing.cpu_count(): 返回机器上cpu核的总数量 p1.daemon = False : 定义子进程的运行属性,如果 .daemon设置为False表示子进程可以在主进程完成之后继续执行; 如果 .daemon设置为True,表示子进程随着主进程的结束而结束;必须在start之前设置; p1.start(): 开始执行子进程p1 p1.join(): 定义子进程p1的运行阻塞主进程,只有p1子进程执行完成之后才会继续执行join之后的主进程,但是子进程间互相不受join影响。 可以定义子进程阻塞主进程的时间--p1.join(100),超时之后,主进程不再等待,开始执行。join()需要放在start()方法之后; p1.terminate():终止子进程的执行,其后要跟上jion()方法更新子进程的状态; p1.exitcode: 进程的退出状态:  == 0 未生成任何错误,正常退出;  > 0 进程有一个错误,并以该错误码退出;    <0 进程由一个-1 * exitcode信号结束
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表