首页 > 编程 > Python > 正文

Python通过Manager方式实现多个无关联进程共享数据的实现

2019-11-25 11:28:07
字体:
来源:转载
供稿:网友

Python实现多进程间通信的方式有很多种,例如队列,管道等。

但是这些方式只适用于多个进程都是源于同一个父进程的情况。

如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。

Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。

它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。

manager.py代码,实现server和client两个类

# encoding=utf-8__author__ = 'kevinlu1010@qq.com''''进程间通信'''from multiprocessing.managers import BaseManagerfrom multiprocessing import RLockMANAGER_PORT = 6000MANAGER_DOMAIN = '0.0.0.0'MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'#定义一个Manager类class InfoManager(BaseManager): passclass DictItem():  def __init__(self, ):    self.items = dict()  def set(self, key, value):    self.items[key] = value  def get(self, key):    return self.items.get(key)  def __setitem__(self, key, value):    self.set(key, value)#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改d = DictItem()lock = RLock()InfoManager.register('dict', callable=lambda: d)InfoManager.register('open_qq_login_lock', callable=lambda: lock)class ManagerServer():  '''  multiprocess Manager服务类  '''  def __init__(self, domain, port, auth_key):    self.domain = domain    self.port = port    self.auth_key = auth_key  def start_manager_server(self):    self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)    # self.dict = self.queue_manager.dict()    self.server = self.queue_manager.get_server()  def run(self):    self.start_manager_server()    self.server.serve_forever()  def stop(self):    self.server.shutdown()    self.is_stop = 1class ManagerClient():  '''  访问mutiprocess Manager的类  '''  def __init__(self, domain, port, auth_key):    self.domain = domain    self.port = port    self.auth_key = auth_key    # self.get_share_dict()    self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)    self.info_manager.connect()  def get_dict(self):    # self.dict = m.dict()    self.dict = self.info_manager.dict()    return self.dict  def get_open_qq_login_lock(self):    self.open_qq_login_lock = self.info_manager.open_qq_login_lock()    return self.open_qq_login_lockif __name__ == '__main__':  pass

用法

1.启动一个ManagerServer,这个进程是阻塞的

import managerdef run():  manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)  manager_server.run()if __name__ == '__main__':  run()

2.实例化一个client,获取共享的变量

# 进程间共享变量manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)share_dict = manager_client.get_dict()open_qq_login_lock = manager_client.get_open_qq_login_lock()

注意:

对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持武林网。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表