Создание сайта на Django: Урок 50, асинхронные задачи, часть 1 (Установка Celery, Redis)

Создание сайта на Django: Урок 50, асинхронные задачи, часть 1 (Установка Celery, Redis)

avatar
7 | (offline)
❤️‍🔥Notehunter Developer
Добавлено:
Категория: Руководства «Django»
Комментариев: 0

Для Celery нам понадобится Redis, я скачаю себе такую вещь, как Open Server. Так как мы делаем все в рамках Windows, этот пак утилит (Open Server) предоставит нам возможность использования кэширования в Redis.

Open Server можно скачать с официального сайта. Установка довольно простая, смысла показывать ее не вижу.

Установка Celery

В консоле вводим следующую команду: pip install celery

Результат установки:

(venv) PS C:\Users\Razilator\Desktop\Courses\App\backend> pip install celery
Collecting celery
  Using cached celery-5.2.7-py3-none-any.whl (405 kB)
Collecting click-didyoumean>=0.0.3
  Using cached click_didyoumean-0.3.0-py3-none-any.whl (2.7 kB)
Collecting click<9.0,>=8.0.3
  Using cached click-8.1.3-py3-none-any.whl (96 kB)
Collecting kombu<6.0,>=5.2.3
  Using cached kombu-5.2.4-py3-none-any.whl (189 kB)
Collecting click-repl>=0.2.0
  Using cached click_repl-0.2.0-py3-none-any.whl (5.2 kB)
Collecting billiard<4.0,>=3.6.4.0
  Using cached billiard-3.6.4.0-py3-none-any.whl (89 kB)
Collecting click-plugins>=1.1.1
  Using cached click_plugins-1.1.1-py2.py3-none-any.whl (7.5 kB)
Collecting vine<6.0,>=5.0.0
  Using cached vine-5.0.0-py2.py3-none-any.whl (9.4 kB)
Collecting pytz>=2021.3
  Using cached pytz-2022.2.1-py2.py3-none-any.whl (500 kB)
Collecting colorama
  Using cached colorama-0.4.5-py2.py3-none-any.whl (16 kB)
Collecting prompt-toolkit
  Downloading prompt_toolkit-3.0.31-py3-none-any.whl (382 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 382.3/382.3 KB 1.3 MB/s eta 0:00:00
Requirement already satisfied: six in c:\users\razilator\desktop\courses\app\venv\lib\site-packages (from click-repl>=0.2.0->celery) (1.16.0)
Collecting amqp<6.0.0,>=5.0.9
  Using cached amqp-5.1.1-py3-none-any.whl (50 kB)
Collecting wcwidth
  Using cached wcwidth-0.2.5-py2.py3-none-any.whl (30 kB)
Installing collected packages: wcwidth, pytz, billiard, vine, prompt-toolkit, colorama, click, amqp, kombu, click-repl, click-plugins, click-didyoumean, celery
Successfully installed amqp-5.1.1 billiard-3.6.4.0 celery-5.2.7 click-8.1.3 click-didyoumean-0.3.0 click-plugins-1.1.1 click-repl-0.2.0 colorama-0.4.5 kombu-5.2.4 prompt-toolkit-3.0.31 pytz-2022.2.1 vine-5.0.0 wcwidth-0.2.5

Установка Celery в проект:

В папке нашего конфига, где хранится settings.py, а именно backend, создаем файл celery.py со следующим содержимым

backend/celery.py

import os

from celery import Celery

# Set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'backend.settings')

app = Celery('backend')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django apps.
app.autodiscover_tasks()

Пояснение:

  • Импортируем Celery, os
  • os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'backend.settings') - здесь указываем расположение нашего главного конфига.
  • app - мы указываем нашу папку с конфигом settings.py, в нашем случае, это папка backend, откуда будет выполняться celery.
  • app.config_from_object - в этом случае, ничего не меняем. Эта строка отвечает за получение настроек CELERY из settings.py
  • app.autodiscover_tasks() - эта строка говорит нам о том, что будет искать задачи во всех созданных нами приложениях, например модули: blog, system.

Далее нам необходимо добавить обработку в файл __init__.py, который находится также в папке backend. 

backend/__init__.py

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)

Пояснение: 

  • Добавляем данный импорт, чтоб наш Celery запускался без ошибок.

Получилась по итогу следующая структура:

Настройки Celery в settings.py

В settings.py нам необходимо добавить некоторые настройки для работы Celery, а именно:

CELERY_TIMEZONE = 'Europe/Moscow'
CELERY_TASK_TRACK_STARTED = True
CELERY_TASK_TIME_LIMIT = 30 * 60
CELERY_BROKER_URL = 'redis://127.0.0.1:6379/0'
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/0'

Пояснение:

  • CELERY_TIMEZONE - настраиваем по нашему часовому поясу.
  • CELERY_TASK_TRACK_STARTED - выполняем Celery задачи.
  • CELERY_TASK_TIME_LIMIT - лимит на выполнение одной задачи.
  • CELERY_BROKER_URL - хранилище задач (Redis)
  • CELERY_RESULT_BACKEND - бекенд выполнения (Redis)

Установка Open Server / Redis на компьютер

Далее нам необходимо запустить наш установленный Open Server. Запускать его необходимо только от имени администратора, иначе вы получите ошибку. 

Далее нам нужно запустить Open Server:

Переходим в Настройки Open Server -> Модули:

Убеждаемся, что у нас установлен Redis 5.0

Если нет, выбираем его из списка и жмем сохранить. Сервер перезапустится и будет готов к работе.

Установка Redis в проект Django

Далее нам необходимо добавить кэширование с помощью Redis. 

Для начала установим сам Redis в проект, вводим команду: pip install redis

Результат выполнения установки:

(venv) PS C:\Users\Razilator\Desktop\Courses\App\backend> pip install redis
Collecting redis
  Using cached redis-4.3.4-py3-none-any.whl (246 kB)
Collecting async-timeout>=4.0.2
  Using cached async_timeout-4.0.2-py3-none-any.whl (5.8 kB)
Collecting deprecated>=1.2.3
  Using cached Deprecated-1.2.13-py2.py3-none-any.whl (9.6 kB)
Collecting packaging>=20.4
  Using cached packaging-21.3-py3-none-any.whl (40 kB)
Collecting wrapt<2,>=1.10
  Using cached wrapt-1.14.1-cp310-cp310-win_amd64.whl (35 kB)
Collecting pyparsing!=3.0.5,>=2.0.2
  Using cached pyparsing-3.0.9-py3-none-any.whl (98 kB)
Installing collected packages: wrapt, pyparsing, async-timeout, packaging, deprecated, redis
Successfully installed async-timeout-4.0.2 deprecated-1.2.13 packaging-21.3 pyparsing-3.0.9 redis-4.3.4 wrapt-1.14.1

Настройка Redis в settings.py

Если вы шаг за шагом создаете по моим урокам проект, то нам нужно удалить старый метод кэширования и папку cache, которые мы создавали в уроке: Создание сайта на Django: Урок 48, добавление статуса онлайн

backend/settings.py

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache',
        'LOCATION': (BASE_DIR / 'cache'),
    }
}

И добавить следующий фрагмент для настройки Redis

backend/settings.py

CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.redis.RedisCache',
        'LOCATION': 'redis://127.0.0.1:6379',
    }
}

Попробуем запустить сайт после проделанных настроек:

Ошибку не выдало. Все отлично, но нам нужно убедиться, что Redis работает. Для этого, в Open Server есть админ панель Redis базой:

При нажатии откроется браузер Opera, где мы увидим базу данных редис.

На этом скриншоте я пометил сохраненный результат кэширования, это ключ сохранения нашего статуса онлайн из урока: Создание сайта на Django: Урок 48, добавление статуса онлайн.

А значит, все работает так, как нужно. 

Теперь запустим Celery для теста, чтобы убедиться, что у нас все работает и настроено правильно, запускаем в консоле следующей командой:

celery --app=backend worker --loglevel=info --pool=solo

Результат:

(venv) PS C:\Users\Razilator\Desktop\Courses\App\backend> celery --app=backend worker --loglevel=info --pool=solo
 
 -------------- celery@Razilator-PC v5.2.7 (dawn-chorus)
--- ***** -----
-- ******* ---- Windows-10-10.0.22000-SP0 2022-09-24 10:22:18
- *** --- * ---
- ** ---------- [config]
- ** ---------- .> app:         backend:0x1929d3bc130


[tasks]


[2022-09-24 10:22:18,460: INFO/MainProcess] Connected to redis://127.0.0.1:6379/0
[2022-09-24 10:22:18,464: INFO/MainProcess] mingle: searching for neighbors
[2022-09-24 10:22:19,486: INFO/MainProcess] mingle: all alone
[2022-09-24 10:22:19,507: WARNING/MainProcess] C:\Users\Razilator\Desktop\Courses\App\venv\lib\site-packages\celery\fixups\django.py:203: UserWarning: Using settings.DEBUG leads to a memory
            leak, never use this setting in production environments!
  warnings.warn('''Using settings.DEBUG leads to a memory

[2022-09-24 10:22:19,508: INFO/MainProcess] celery@Razilator-PC ready.

Значит мы настроили все правильно и Celery готов получать задачи и выполнять их. В следующей части я напишу задачу по отправке письма подтверждения, и мы ее запустить через Celery. 

Теги записи: DjangoDev, Уроки Django, Создание сайта,
Комментарии к статье 0
Комментариев нет
Форма добавления комментария (необходима регистрация)