VPF::celery на нескольких серверах - Форум программистов

Lusik

Дата 27.4.2014, 03:03 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 1
Регистрация: 8.4.2014

Репутация: нет
Всего: нет

дано - на серваке есть воркер который берет данные из очереди, по ним формирует подзадачи и запускает их группой... для наглядности это что-то типа такого..

Код


...
class QueryAtom(CoreTask):
    def run(self, taskid, core, el):
        res=do_something()
        return res

query_atom = app.tasks[QueryAtom.name]

class Groupper(CoreGroup):
    def run(self, taskid, core, data):
        data=json.loads(data) 
         for el in data:
                header.append(query_atom.s(taskid=taskid,core= core,el= el)) 
         res=group(header).apply_async()
         res.ready()
         total= res.join()
         res.save()
         print total
         return res

...

Всё это счастье замечательно работает, но хотелось бы увеличить количество параллельно запускаемых подтасков, увеличивать concurrency на этом уже некуда - как бы так сделать чтоб QueryAtom при запуске группы на обоих серверах отрабатывал... понятно что надо одну и ту же очередь слушать, но этого вряд ли достаточно... ничего не могу найти вразумительного по этому вопросу

Разбивать задачи извне на разные серваки и потом дожидаться их окончания всё-таки не хотелось бы

Это сообщение отредактировал(а) Lusik - 27.4.2014, 03:09

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Python: Общие вопросы \| Следующая тема »