Решил обсудить особенности построения кластеров. По идее построить хороший кластер на винде довольно проблематично. Если даже отбросить вопрос стоимости и пользоваться пиратками, он все равно получается кривой. На маках, солярисах и бсд не пробовал, да и тоже не вижу особого смысла делать в них. Надо брать то что бесплатно, открыто (и давайте воздержимся от выражений открыто != бесплатно) и просто настраивается.

Естественно делать кластер ради того, чтобы он был бессмысленно. Поэтому надо рассматривать уже конкретные решения, такие как базы данных, файловые системы и возможно даже вычислительные кластера. Вопросов возникающих в процессе создания кластеров очень много, и в первом топике я пожалуй воздержусь от конкретики.

можешь перечислить какие задачи ты думаешь что "домашний кластер" решит для тебя ?

Лично мне пока нужны кластерные файловые системы и кластерные базы данных. Вычислительные кластера рассматриваю пока лишь в перспективе, хотя здесь буду обсуждать и это. Дело в том, что кластерные системы способны масштабироваться и не отличаются от обычных в плане использования.

Почему выбрано такое название домашний кластер? Ну, а как его назвать, если он будет собран дома, пусть даже на работе. Можно сказать, что это кластер собственными руками. Задачи могут быть разными, например, человек создаёт обычную программу для работы с базами и файлами, но благодаря тому, что заранее озаботился об их кластерной совместимости, получает мощную масштабируемую систему, для которой повышение уровня обслуживания лишь вопрос техники, добавления новых компьютеров в кластер и небольшая настройка.

Сразу наверное стоит отметить, что построение кластеров тема нужная далеко не для всех, так же как не всем нужен форум программистов, а именно по этому запросу люди находят то, где мы сейчас находимся.

возможно для совместимости с масштабируемыми технологиями не имеет смысла тратить деньги на электричество дома, а просто на время разработки нанять себе несколько нодов у амазонских комьютерных туч....
такой вариант, имхо, наиболее масштабируем.
и не убиваешь время разработчика на "обкусывание" CAT5E кабелей, не спотыкаешься о свичи дома, и в общем не занимаешься фигнёй 

т.е. рекомендую рассмотреть это как вариант на работе тоже - посчитать что выгоднее....

Это сообщение отредактировал(а) bilbobagginz - 26.6.2009, 20:08

Для начала обсудим файловые хранилища данных:



Ну и вообще в целом.



Тот же GlusterFS.

Добавлено через 3 минуты и 29 секунд

У кого нет возможности проводить опыты на нескольких компьютерах, могут поставить себе виртуальную машину, а на них столько ОС, сколько нужно. Меня абсолютно не волнует ни амазон, ни гугл, ни прочие кластера, к которым я не имею ни малейшего отношения. И уж тем более я не собираюсь выкидывать куча денег на то, что мне абсолютно не нужно. Тема вообще не об этом.  

unicuum, ты опять начинаешь не с целей, а с инструментов. bilbobagginz задал совершенно логичный вопрос: зачем.
иначе получается стоим мы над кучей инструментов и кипой документации к ним и думаем: где это может пригодиться.

по назначению кластеры бывают (ты, конечно, знаешь) двух видов. тебя какие интересуют?

ты говоришь

это значит ты уже обсудил сам с собой и принял некоторые решения. для обсуждения их надо знать.

к чему копипастить с чужих сайтов (неизвестно с разрешения авторов или нет) ??
если тема об этом, то я пасс.

арифметика, это такой предмет, который учит учеников считать:
берём старые компьютеры, из которых ты собираешься "строить кластера".
считаем их "headcount", и смотрим сколько они поедают за в 1/2 года:

• считаем, сколько времени займёт на их соединение (рабочее время - стоит денежек)
• на их охлаждение летом - тоже нужен кондиционер (стоит денежек)
• сколько времени уйдёт на настройку сети, на настройки всех сетевых подсистем ПО, и т.д. (рабочее время)
• на починку старого железа - тоже уйдёт время (время=деньги)
• тупо электропитание самих компьютеров (денежки)

всё это собираем (в рублях), допустим, и получаем 12000 руб.
заходим в гугл, и забиваем: 12000 rub to usd
Получаем сумму обязательных расходов на 1/2 года в долларах ненавистных США.

Идём в амазонскую тучку, и смотрим сколько компьютерных ресурсов и какого качества мы имеем за эти деньги за 1/2 года.

считаем и сравниваем.

а распределённую файловую систему можно настроить и на тучке.

сейчас проще объяснил ?

Наверное у меня логика по другому работает. Могу сейчас сказать, что кластер баз данных на PostgreSQL лучший вариант, который можно найти и при этом не заплатив. Или вообще, что это лучший вариант из всех, которые доступны. Могу и про файловые системы утверждать нечто подобное. Однако моё мнение субъективно.

Так ли уж важны предпосылки для чего мне понадобилось это обсуждение или данный вопрос не имеет к данной тематике никакого отношения. Вполне возможно, что мне просто интересно, или может быть я хочу это использовать. С точки зрения того, что технологии придётся всё равно рассматривать, ничего не меняется.

Да, сейчас создаются вычислительные облака, они у гугла, майкрософта и многих других. Здесь я могу объяснить, почему они абсолютно бесполезны лично для меня. Я не собираюсь программировать приложения для этих облаков и не хочу от них зависеть. Для меня даже не приемлем вариант использования серверных приложений, то есть делающихся для серверов приложений, потому что такие я тоже делать не буду.

Мои приложения сами будут серверами, если я займусь их изготовлением. Кластера это всего лишь сопутствующая инфраструктура. Те же файловые системы, вызов на обычный жёсткий диск с точки зрения программного интерфейса, тоже самое, что вызов на кластер, так как в линуксе они связаны модулями с ядром. В базах данных необходимо делать кластерные индексы. Тема довольно обширна, начиная от физического и логического построения, и кончая разнообразными настройками, слежением за состоянием, балансировкой нагрузки и так далее.

Добавлено через 2 минуты и 17 секунд

Без разницы, меня не волную чужие кластеры, даже если они стоят столько же или дешевле. Лучше будь пасом, так как повторяю, тема не об этом.  

я могу сейчас сказать, что земля - плоская.
и не уточнить, что "для цели нашей дискуссии я имею в виду маленьки кусочек земли 10х10 см".

боюсь, мой стереотип о твоей особенной логике из Курилки может быть трансферрится сюда подсознательно.

давай сосредоточимся на "не заплатив".

компьютер ты украл ?
ОС ты не настроил, или ты какому-то технарю моск его технарский запудрил, и он тебе и то и то настроил, и компы принёс, и ещё чаем напоил ? "не заплатив" ли ?


я тебе расписываю один из здоровых подходов в выборе пути, а ты мне говоришь "я не об этом" не поясняя почему.

"ты меня уважаешь?" ™        

докажи что твой подход целесообразнее, количественно, а не на пальцах.

Добавлено через 40 секунд
хорошо, пас.

Всё очень просто, приложения для облаков имеют иную природу, нежели домашние кластера. Домашний кластер можно использовать в локалке. Проблем с электричеством в России пока что нет, тоже самое касается и компьютеров. Если я не заплачу за интернет, мой домашний кластер останется со мной, в отличие от некоего виртуального. Чтобы прикрыть мой домашний кластер, надо сделать это на месте его установки, нельзя отнять все мои данные удалённо.


Вот и правильно, а то вместо обсуждения почему одна FS лучше другой обсуждаем ерунду.

разве это тема обсуждения? я что-то упустил?   

  что бы обсуждать что-либо надо об этом (и сфере применения этого) иметь представление. такое вот странное имхо  

Добавлено через 12 минут
unicuum, раз ты уклоняешься от темы, скажу я.

1. кластеры для повышения надежности "для дома и семьи" совершенно не нужны, по крайней мере не вижу задач, для которых это хотя бы теоретически нужно.
2. кластеры для повышения производительности и балансировки нагрузки имеют смысл только начиная с определенного уровня нагрузки: велики накладные расходы на обслуживание самого кластера. в свое время лично проводил эксперименты, которые дали этот (постижимый и умозрительно) результат. а если это кластер для сложных расчетов, то особые требования предъявляются к коммуникации между серверами. тут уже по цене совсем не домашний вариант.

хочешь поиграться - возьми кластер MySQL (в настройке он попроще PostgreSQL) и упивайся крутизной современной программной мысли...

Ну так для пользователей линукса это не проблема. В установщиках пакетов смотрим на приведённый мною список и набираем ключевые слова Gluster, NBD, GFS, AFS, SFS, CODA и так далее. Тыкаем по их галкам и ждём пока установится.



Вот и всё, кластерные службы файловых систем установлены, осталось лишь настроить их. Кстати, об этом можно тоже поговорить.

Добавлено через 1 минуту и 58 секунд

У меня на линуксе и даже на винде всё это стоит, и постгрес не сложен.

представление о теме получаешь из списка пакетов? ну-ну...

Кстати, это один из лучших способов. Тысячи программ, примеров и библиотек в статической и динамической линковке. Автоматический контроль за местонахождением всего этого безобразия. Мгновенный старт продвинутых технологий, минимум усилий, там где в других ОС требуются бессмысленные танцы с бубном. Что видишь, то и используешь, что используешь, можешь запрограммировать. Стирается грань между программированием и прикладным использованием. Те кто вручную всё делают, просто теряют время. Ещё можно понять, если люди в винде, там к сожалению нет установщика пакетов, но в линуксе это преступление против самого себя