Django使用Celery异步任务队列的使用

1 Celery简介

Celery是异步任务队列，可以独立于主进程运行，在主进程退出后，也不影响队列中的任务执行。

任务执行异常退出，重新启动后，会继续执行队列中的其他任务，同时可以缓存停止期间接收的工作任务，这个功能依赖于消息队列（MQ、Redis）。

1.1 Celery原理

Celery的 架构 由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

消息中间件：Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括， RabbitMQ ,  Redis ,  MongoDB  (experimental), Amazon SQS (experimental),CouchDB (experimental), SQLAlchemy (experimental),Django ORM (experimental), IronMQ。推荐使用：RabbitMQ、Redis作为消息队列。

任务执行单元：Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

任务结果存储：Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, Redis，memcached, MongoDB，SQLAlchemy, Django ORM，Apache Cassandra, IronCache

1.2Celery适用场景

异步任务处理：例如给注册用户发送短消息或者确认邮件任务。 大型任务：执行时间较长的任务，例如视频和图片处理，添加水印和转码等，需要执行任务时间长。 定时执行的任务：支持任务的定时执行和设定时间执行。例如性能压测定时执行。

 2Celery开发环境准备

 2.1 环境准备

2.2     Celery安装

使用方法介绍：

Celery的运行依赖消息队列，使用时需要安装redis或者rabbit。

这里我们使用Redis。安装redis库:

sudo yum install redis