简易构建celery框架+如何在本地IDE（pycharm）启动celery监听队列

一只前进的蚂蚁

2020年04月19日 13:54 · 阅读 2185

今天跟大家讲解一下最简单celery框架怎么构建，以及怎么用本地的IDE启动服务端进行数据监控,废话不多说，直接开始。

一、Celery

1、组件

最简单也是官方推荐的比较合适的RabbitMQ，在本次例子中就拿RabbitMQ进行中间件的储存以及结果集的储存，就不用其他的组件，类似Redis，MySQL等。

2、配置

整体的主要有以下几个文件 celery_config 储存Celery配置，主要有队列，优先级，任务限制等 celery_instance 主要是实例化celery main 启动celery服务端 task_register celery任务注册文件 task_test celery任务构建文件，进行测试

celery_config.py

# broker 
BROKER_URL = 'amqp://root:root@127.0.0.1/dispatch_server_host'
# backend
CELERY_RESULT_BACKEND = 'amqp://root:root@127.0.0.1/dispatch_server_host'
# 时区
CELERY_TIMEZONE = 'Asia/Shanghai'
# include
CELERY_INCLUDE = ['celery_test.task_register']
复制代码

BROKER_URL 消息中间件的连接 CELERY_RESULT_BACKEND 任务结果数据的储存 CELERY_INCLUDE 任务注册路径

celery_instance.py 实例化celery

from celery import Celery
from celery_test import celery_config
app = Celery()
# 将配置文件加载进行实例中
app.config_from_object(celery_config)
复制代码

main.py 启动celery服务端

from celery_instance import app
if __name__ == '__main__':
    app.start()
复制代码

task_register.py 在这里我们注册了三个任务 add,sum,prod

from celery_test.celery_instance import app
@app.task
def add(x, y):
    return x + y

@app.task
def sum(*args):
    """
    :param args: ([2, 2], )
    :return:
    """
    print args
    res = 0
    for i in args[0]:
        res += i
    print '<sum> res:{}'.format(res)
    return res

@app.task
def prod(*args):
    print args
    res = 1
    for i in args[0]:
        res *= i
    print '<sum> res:{}'.format(res)
    return res
复制代码

task_test.py 先进行一个简单的add测试

# -*- coding:utf-8 -*-
from celery_test.task_register import *
from celery import group
from celery import chord

sig = add.s(1, 1)
sig.apply_async()
复制代码

二、启动Celery

在这里启动celery有两种方式，一种是直接在服务器上启动 celery -A celery_test.main worker -n work_test -c 1 -l info -Q celery -A 后面接的是启动文件的路径 -c 启动的进程数 -l 打印信息的等级 -Q 监控的队列名称，不在命令中指定的话会监控配置文件中配置的队列，若无则是默认队列celery 第二种启动方式可以在pycharm直接启动 在main启动的时候添加参数即可