Модераторы: LSD
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Несколько датацентров. Высокая нагрузка. 
:(
    Опции темы
Wowa
Дата 18.5.2009, 13:27 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
Group Icon


Профиль
Группа: Админ
Сообщений: 15017
Регистрация: 14.9.2000
Где: Винград

Репутация: 2
Всего: 290



Необходимо разместить сервера в дата-центрах разных частей мира. Например:
1 кластер в США
1 кластер в Европе
1 кластер в Азии


Всё бы ничего, но приложения на этих серверах должны в некоторых случаях получать информацию из других дата-цетров и писать инфу в них(в БД напрямую наверно). Очень важна скорость этих действий. Соотношение запросов на чтение/запись 90:10, т.е. можно кешировать инфу у себя локально. Однако как быть с валидацией кеша? Если инфа изменилась в одном дата-центре, то другой дата-центр должен сразу же перестать таскать инфу из кеша.
PM WWW   Вверх
vinter
Дата 19.5.2009, 12:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Explorer
****


Профиль
Группа: Завсегдатай
Сообщений: 2735
Регистрация: 1.4.2006
Где: Н.Новгород

Репутация: 2
Всего: 56



так сделайте как это реализовано в CPU при изменениях в кэше, слать invalidate всем датацентрам. Мгновенной реакции получить не сможешь(а это не реально, в любом случае оверхеды сети), но должно быть достаточно быстро.


--------------------
Мой блог
PM MAIL WWW   Вверх
Void
Дата 19.5.2009, 13:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


λcat.lolcat
****


Профиль
Группа: Участник Клуба
Сообщений: 2206
Регистрация: 16.11.2004
Где: Zürich

Репутация: нет
Всего: 173



Очевидно, надо в первую очередь смотреть на опыт тех, кто такие географически распределённые системы эксплуатирует: Google, Amazon, Yahoo!. Если не реализациями, то результатами исследований они делятся.
Например: PNUTS: Yahoo!'s Hosted Data Serving Platform

Я не специалист и системами такими не занимался, но проблем там дофига и больше, и есть подозрение, что дешёвого commodity решения не получится.


--------------------
“Coming back to where you started is not the same as never leaving.” — Terry Pratchett
PM MAIL WWW GTalk   Вверх
bilbobagginz
Дата 19.5.2009, 13:47 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Naughtius Maximus
****


Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 10
Всего: 317



Цитата(Wowa @  18.5.2009,  13:27 Найти цитируемый пост)
Если инфа изменилась в одном дата-центре, то другой дата-центр должен сразу же перестать таскать инфу из кеша. 

это называется "репликация"
любое ПО поддерживающее данный buzz-word должен это делать. это обычно базы данных, и т.п.

Добавлено @ 13:49
Цитата(Void @  19.5.2009,  13:45 Найти цитируемый пост)
Очевидно, надо в первую очередь смотреть на опыт тех, кто такие географически распределённые системы эксплуатирует: Google, Amazon, Yahoo!.

у них кроме географической распределённости, есть ещё и программная и вообще концептуальная распределённость.
судя по требованиям - 4 ящика таких крутых вещей не требуют.
в худшем случае можно тяжкий контент через akamai перекинуть поближе к клиентам.


тьфу ты, Void, ты прав. слово "кластер" проморгал smile

а какой объем (точнее throughput) данных, Wowa ?


Это сообщение отредактировал(а) bilbobagginz - 19.5.2009, 13:52


--------------------
Я ещё не демон. Я только учусь.
PM WWW   Вверх
Wowa
Дата 19.5.2009, 14:04 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
Group Icon


Профиль
Группа: Админ
Сообщений: 15017
Регистрация: 14.9.2000
Где: Винград

Репутация: 2
Всего: 290



bilbobagginz, пример. Представим, что мы все заходим в тему из Европы, а пост от vinter хранится на кластере в США и любой человек зашедший из европы должен увидеть всю тему целиком и быстро. Т.е. нам нужно пост от vinter запросить из США.

P.S. мы могли бы его запросить один раз и закешировать в Европе, но вдруг пост изменится или мы его из Европы попробуем отредактировать.

Добавлено @ 14:09
Всю тему хранить в каком-то определенном кластере не предлагать, т.к. она итак в одном кластере хранится будет, но некоторые посты из других (удаленных)кластеров должны подгружаться.
PM WWW   Вверх
bilbobagginz
Дата 19.5.2009, 14:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Naughtius Maximus
****


Профиль
Группа: Экс. модератор
Сообщений: 8813
Регистрация: 2.3.2004
Где: Israel

Репутация: 10
Всего: 317



Wowa, работаю с кластерами. одна из проблем в коллаборации с народом во всём мире - отсутсвие единой терминологии smile
чтобы мы могли говорить "на одном языке", определи мне пожалуйста термин "кластер" в твоём понимании, что это такое, и скажи каким образом соединены ноды.
2-й вопрос, оставшийся не отвеченым с предыдущего поста: какой средний и максимальный thourghput (поток?) данных между кластерами ? внутри кластеров ?
если даёшь какие-то оценки, то постарайся давать их не в качественном виде "много", "сильно", а в количественном.



--------------------
Я ещё не демон. Я только учусь.
PM WWW   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Разные вопросы"
Smartov

Сюда нужно постить только темы, которые нельзя отнести ни к одному из существующих разделов. Если вы не уверены, то просмотрите еще раз заголовки форумов, карту форума или попробуйте воспользоваться поиском.
Если вы все же не смогли найти подходящего раздела - создавайте тему здесь.


С уважением, Smartov.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Разные вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0715 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.