Модераторы: powerfox, ZeeLax
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Объединение домашних компов в кластер, есть два компа как объеденить? 
:(
    Опции темы
GorbunovDiman
Дата 24.5.2010, 19:56 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 89
Регистрация: 3.3.2008

Репутация: нет
Всего: нет



Всем доброго времени суток! У меня на одном компе Debian 5.0 (я его хочу использовать в качестве сервера), а остальные компы под хрюшей.
Задача формулируется следующим образом: можно ли объединить все компы в кластер (максимум 3) и запускать на нём прикладные программы винды (например по перекодированию видео) так,чтобы она работала на всех процессорах. Если теоретически это можно , то ,пожалуйста, подскажите возможные реализации и/или выложите ссылки.Всем заранее благодарен smile . 
PM MAIL   Вверх
nickless
Дата 25.5.2010, 02:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Гентозавр
****


Профиль
Группа: Участник Клуба
Сообщений: 2976
Регистрация: 29.8.2005
Где: Germany

Репутация: 41
Всего: 181



ИМХО ты не совсем понимаешь что такое кластер. По идее на кластерах запускают специализированый софт, специально для этого разработанный, например сложные математические вычисления.

Если эти "прикладные программы" не поддерживают такой режим (а скорее всего нет), то можно разве что запустить их несколько раз на разных компьютерах и дать каждой по задаче (причем на 3х компах это ИМХО легче сделать вручную). Кроме того, раз программы виндовые, то под линуксом их запустить можно только через wine, что есть дополнительный геморрой.


--------------------
user posted image

Real men don't use backups, they post their stuff on a public ftp server and let the rest of the world make copies
- Linus Torvalds
PM MAIL   Вверх
bilbobagginz
Дата 25.5.2010, 06:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Naughtius Maximus
****


Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 113
Всего: 317



GorbunovDiman, можно это сделать. это делается ПО, которое грубо называют batch system.
часть этого ПО должна иметь ресурсы всё время (PBS, OpenPBS), что называется "выделенные ресурсы"
а часть может сидеть у тебя в системе, и ждать, когда ты не пользуешься компом, и только тогда подниматься из мертвых, брать задачи из очереди, и выполнять их, что называется "стервятничеством за свободными процессорами", или "вычислительным оппортунизмом". примеры таких пакетов - condor, folding@home, BOINC.
Эти оба подхода (оппортунизм vs. выделенка) определяют сложность системы распределения задач. 
ессно, чем система сложнее, тем она больше, и медленнее (т.е. поедает больше ресурсов для себя, вместо утилизации их для выполняемой задачи. в масштабах 2-х или 20-и компов это не очень важно, это начинает волновать, когда кластер начинает измеряться тысячами - вопросы охлаждения, электропитания, поддержки систем, и т.д.

есть и "гибридные" системы, т.е. которые могут совмещать как выделенные, так и оппортунистические ресурсы (Platform LSF).

далее есть вопрос характера задачи - насколько задача грузит ввод-вывод, и насколько - процессор. 
надо это понять, это определяет организацию данных. 
т.к. твоя задача тяжелая с т.з. ввода-вывода - это значит тебе нужна относительно быстрая сеть, и файловый сервер. 
в хронических случаях "просто" файловый сервер - не выдержит, и нужна распределенная файловая система.

напр. condor работает как под линукс, так и под Мак, ФриБСД, Солярик, и Виндовс.
его немного муторно настраивать, но когда работает, им рендерили Pirates of the Carribeans (этого деда-ктулху)

самая большая проблема этого ПО - юзабилити. 


nickless, прав, но только частично.
кластерные вычисления бывают тоже - оппортунистические, и выделенные.
вторые обычно действительно запускают специализированное ПО.
Этот подход называется HPC - high performance computing, т.е. вычисления с высокой производительностью (mosix, openmosix, и т.д.)
а то, что оппортунизм - называется HTC, high throughput computing, т.е. вычисления с высокой проходимоостью.

сегодня первый подход используется реже, т.к. требует очень больших $$$, и по сути своей большинство времени - простаивает.


Цитата(nickless @  25.5.2010,  01:05 Найти цитируемый пост)
Если эти "прикладные программы" не поддерживают такой режим (а скорее всего нет), то можно разве что запустить их несколько раз на разных компьютерах и дать каждой по задаче (причем на 3х компах это ИМХО легче сделать вручную). Кроме того, раз программы виндовые, то под линуксом их запустить можно только через wine, что есть дополнительный геморрой. 

перекодирование видео это как раз такая задача, которую можно распараллелить.
обычно кодировщикам можно задавать параметры - с какого места во времени начать перекодировку, и до какого, в каком качестве.
результирующие куски склеиваются быстрее, чем создаются.
т.е. кодировщику можно сказать (в зависимости от кол-ва компов) ты берешь кусок (в длинна фильма / кол-во компов), начинающийся с Х до Х + длинна куска.
вот тебе и распараллеливание, вне зависимости от распараллеленности самого ПО.


Всем мир,

пора на работу.


Это сообщение отредактировал(а) bilbobagginz - 25.5.2010, 06:59


--------------------
Я ещё не демон. Я только учусь.
PM WWW   Вверх
GorbunovDiman
Дата 25.5.2010, 08:57 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Шустрый
*


Профиль
Группа: Участник
Сообщений: 89
Регистрация: 3.3.2008

Репутация: нет
Всего: нет



Всем спасибо за ответы ,но я немного уточню задачу:
  1.Перекодирование видео - это только ближайшая задача(которую хочется решить по быстрее). Возможно разветл. программы буду писать сам.
  2.Так как комп под линухой самый слабый, то я его подразумевал использовать для управлением/распределения нагрузки (ну что останется на решение задач )

P.S.  bilbobagginz а можети ли вы выложить ссылки на программы/документацию, если это вам не сложно? 



Это сообщение отредактировал(а) GorbunovDiman - 25.5.2010, 08:58
PM MAIL   Вверх
bilbobagginz
Дата 25.5.2010, 22:27 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Naughtius Maximus
****


Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 113
Всего: 317



Цитата(GorbunovDiman @  25.5.2010,  07:57 Найти цитируемый пост)
P.S.  bilbobagginz а можети ли вы выложить ссылки на программы/документацию, если это вам не сложно? 

если вы что-то прочитали, я специально написал названия программ на google-friendly языке (английском)
если вам лень или религия не позволяет скопи-пастить, то аналогично и моя хотелка вам помочь мне не позволяет.




--------------------
Я ещё не демон. Я только учусь.
PM WWW   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Linux/UNIX: Oбщие вопросы"
nickless
Imple
nerezus

В тему здесь вопросы общие - не привязанные к определенному ПО или дистрибутиву BSD/Linux/UNIX.
Например вопросы о выборе ОС для определенных задач (но если Вы просто хотите узнать "Какой дистрибутив лучше", то для этого есть Клуб юнуксоидов).
Общие вопросы по shell-программированию тоже лучше задавать здесь.


  • Вопросы мобильной разработки тут
  • Вы должны соблюдать правила форума.
  • Помните: какой вопрос, такой и ответ. Прежде чем задать вопрос прочитайте вот эту статью на форуме CIT.
  • Оскорблять запрещается.
  • Религиозные войны в Религиозных войнах.
  • Общение "просто так" в Клубе юнуксоидов. В отличие от многих других разделов, здесь разрешается сдержанно оффтопить и юморить в тему.

За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу).


В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим.


Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | *NIX системы: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0493 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.