 |
|
Модераторы: ZeeLax, powerfox |
 
|
|
Придумал шнягу, Оцените (в прямом смысле), плиз 
| GrayCardinal |
|
|||
|
Фигасе  Профиль Группа: Завсегдатай Сообщений: 3039 Регистрация: 9.11.2003 Репутация: 7 Всего: 58 |
В общем хочу объеденить N компов, в вещь, которая, на сколько знаю, называется "кластером". По типу openmosix, только не глючную и юзер-спэйсную. Плюс пропатчить bash (или другой шел) чтобы сам команды распределял... В общем distcc задолбал (слишком через Жо сделан), хочу то же только с NFS
 Так вот - существуют ли такие проги и, сколько можно снять за такую (полностью доработанную, да с GUI контроля, да с патчиками для bash, make etc) |
|||
|
||||
Загрузка ...
| JackYF |
|
|||
 полуавантюрист Профиль Группа: Участник Сообщений: 5814 Регистрация: 28.8.2004 Где: страна тысячи озё р Репутация: 3 Всего: 162 |
ээ... а кто патченные bash, make etc будет в дистрибутивы толкать? и сколько программ тебе придётся пропатчить? что с сеткой будет? в общем, идею можно развить, но пока, имхо, многое не понятно. |
|||
|
||||
| GrayCardinal |
|
|||
|
Фигасе Профиль Группа: Завсегдатай Сообщений: 3039 Регистрация: 9.11.2003 Репутация: 7 Всего: 58 |
JackYF,
Никто не будет. Я патчики дам кому надо-будет ) В дистрибутив никто толкать не будет. Шняга будет не опенсорсная и не GPL ная (возможно, кроме GUI на Qt4) Пропатчить вообще надо будет только bash или тот шелл, который запросит юзер шняги. |
|||
|
||||
| JackYF |
|
|||
|
полуавантюрист Профиль Группа: Участник Сообщений: 5814 Регистрация: 28.8.2004 Где: страна тысячи озё р Репутация: 3 Всего: 162 |
ясно. |
|||
|
||||
| bilbobagginz |
|
|||
 Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 28 Всего: 317 |
metronome, о нем: http://nmi.cs.wisc.edu/node/90
скачать: http://nmi.cs.wisc.edu/node/1268 Добавлено через 1 минуту и 49 секунд она не то чтобы делает все так как ты описал, но работает довольно стабильно, не через Ж* -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| Imple |
|
|||
 Эксперт Профиль Группа: Завсегдатай Сообщений: 1546 Регистрация: 14.9.2007 Где: Алма-Ата Репутация: 9 Всего: 87 |
Достаточно непонятно, что вы хотите этим получить? Если не будет распределения по нитям процесса между станциями, то получается что один компьютер выполняет введеную комманду, потом следующий компьютер выполняет следующию комманду, и т.д., т.е. в основном будет работать одна станция, а другие простаивать. ИМХО это не имеет практического применения.
-------------------- Не шалю, никого не трогаю, починяю сервер. |
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 28 Всего: 317 |
Imple, вы не поняли.
в принципе при условии, что все есть везде, саму компиляцию можно делать на всех параллельно. и только связку (в смысле линковку, linkage) в нeкоторых случаях невозможно распараллелить. -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| Imple |
|
|||
|
Эксперт Профиль Группа: Завсегдатай Сообщений: 1546 Регистрация: 14.9.2007 Где: Алма-Ата Репутация: 9 Всего: 87 |
Да, действительно, читая первый пост не обратил внимания что автор подразумевает использование NFS'а.
-------------------- Не шалю, никого не трогаю, починяю сервер. |
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 28 Всего: 317 |
Нет, NFS не имеет ничего общего с распределением (нфс - централизованная технология, предполагающая центральный сервер. есть попытки распараллелить этот сервер, но они не очень удобны ) в некоторых случаях NFS помогает производить распределенные вычисления, при условии, что IO - меньшая часть работы. для прироста производительности без NFS нужно соблюдать сл. неравенство: 2 х (время копирования 1 файла) << (время компиляции этого файла) -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
| Imple |
|
|||
|
Эксперт Профиль Группа: Завсегдатай Сообщений: 1546 Регистрация: 14.9.2007 Где: Алма-Ата Репутация: 9 Всего: 87 |
А если IO - большая часть работы? К примеру когда происходит компиляция кучи маленьких .c файлов, или каждый исходник инклудит кучу заголовочных файлов, каждый из которых еще какие то заголовочные файлы, и т.д.? Тогда вместо NFS'а придется использовать точные зеркала дерева исходников на всех машинах, а после компиляции каждого куска программы собирать вместе бинарные файлы и линковать их вместе уже на одной машине?
Получается такая схема: 1. Синхронизация дерева исходников 2. Распределенная компиляция раздельных блоков кода 3. Сбор со всех машин готовых "объектных" файлов 4. Линковка Мне кажется что все равно, с использованием или без использования NFS'а для решения пунктов 1 и 3, значительного прироста производительности, по сравнению с тем же distcc мы не увидим. Добавлено через 5 секунд Имхо, конечно. -------------------- Не шалю, никого не трогаю, починяю сервер. |
|||
|
||||
| bilbobagginz |
|
|||
|
Naughtius Maximus Профиль Группа: Экс. модератор Сообщений: 8813 Регистрация: 2.3.2004 Где: Israel Репутация: 28 Всего: 317 |
опять же, в определенных случаях  обычно в распределенных средах с тяжелыми I/O нагрузками при компиляции И при запуске, т.е. в серьезных кластерах, используются кеширующие файловые системы, напр OpenAFS, или более серьезные, коммерческие решения. ( на физическом поключении в 10Гб -медь или оптика, или Миринет или ИнфиниБэнд, и думаю есть уже и другие технологии ) В таких случая скорость передачи данных становится, благодаря этим высокоскоростным технологиям, в нужное нам неравенство, тем самым оправдывая использование распределенной сборки. и ессно все эти технологии не из дешевых. -------------------- Я ещё не демон. Я только учусь. |
|||
|
||||
|
|
| Правила форума "Linux/UNIX: Oбщие вопросы" | |
|
|
В этом форуме предпочтительны вопросы на следующие темы:
За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу). В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим. Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax. |
| 0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей) | |
| 0 Пользователей: | |
| « Предыдущая тема | Программное обеспечение под *NIX системы | Следующая тема » |
[ Время генерации скрипта: 0.0747 ] [ Использовано запросов: 22 ] [ GZIP включён ]
Реклама на сайте Информационное спонсорство
|
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |