Народ расскажите мне пожалуйста как правельно строиться архитектура для больших интернет проектов. Там же надо распределять нагрузку и вес такое. Скажем надо иметь сайт на котором будет 1 млн человек и объем памяти нужен 16 тб. Но и само собой должна быть возможность разширяться со временем. Просьба не писать сообщения типо "Что это за проект какой" или спроси у "специалистов". Если у кого то есть представление как это все организовываеться, то я буду очень признателен! Заранее спасибо!

И самое главное с чего можно начать если бюджен пока 200 000р, т.е. чуть обльше чем 7000 у.е. 

Это сообщение отредактировал(а) novichek - 14.11.2008, 11:45

    
Использовать либо кластер, либо систему распределённой нагрузки. Все зависит от того, что делает "проект".

объем памяти нужен 16 тб
бюджен пока 200 000р, т.е. чуть обльше чем 7000 у.е.

самые распространённые планки памяти - это на 2Gb
смотрим цены на price.ru

2GB DDR2 PC6400 DIMM ECC ~50$

для 16Tb памяти необходимо 8192 таких планки
цена только за память составит > 400k$

А если это объём винтов, то цена сейчас вот смотрю прайс 5280 руб. за 1.5 терабайта (ST31500341AS).

16Gb/1.5Gb*5280р=56320р


Хотя тут многовато что-то человек, как будь-то действительно оператива нужна 16Gb, но это маловато, а 16Tb это анрил, это надо свою квартиру продать и возможно не одну.


Представление есть, а вот практического опыта нет. Насколько я понял, обычно делается сервис и на нём встаёт вопрос, что же лучше, использовать для хранения инфы файлы или базы данных (например, получить файл быстрее, зато поиск по индексированной базе выше). Существует ряд перечней по которым выбирается правильное решение, причём оно может быть комбинированным.

Если необходимо иметь единое хранилище данных, то вот здесь написано про распределенные и кластерные ФС.

Про базы же нужно читать книжки, причём есть всего лишь две достойные по моему мнению клиент/серверные базы данных высокой мощности MSSQL и PostgreSQL. Сравнивал с ними другие, по характеристикам эти мощнее. И те и другая умеют распределять нагрузку. MSSQL платная, ей нужна Windows Server 2003 SP2 или Windows Server 2008, плюс SQL Server 2005 Enterprise Edition (именно Enterprise, чтобы в кластер собралось и ограничений не было) и всё это очень дорого если не пиратить.

Можно на эту тему почитать MSDN, он русский или книги, навроде "SQL Server 2005 Библия пользователя" Пол Нильсен и прочие. Майкрософт рекомендует ставить SQL Server на отдельные компьютеры без других служб навроде сервера IIS, плюс иметь достаточно быстрой оперативки для полного кеширования базы, тогда время отклика будет минимальным.

Ну, там много всего написано, так что маны в руки. А про PostgreSQL пока не читал, хотя и ставил. Возможности те же, похоже лучше его использовать на какой-нибудь бесплатной GNU/Linux, тогда вообще ничего платить не надо, главное чтобы дровишки к MB были. Там тоже маны надо читать, миллион человек это слишком много. Такой сервис на C++ скорее всего надо писать, так как у него высокая производительность и для опенсорса он родной. Но это чисто моё субъективное мнение, могу только сказать, что гугл на нём был написан.

вот человек без понятия пишет какую-то техническую муть,
а потом удивляется, что ему отвечают мутью.
вам батенька консультант нужен, а это не бесплатно.
посоветуйтесь с друзьями и выйдите на кого-то, кого вам порекомендуют.
если вы собираетесь обслуживать одновремененно 1млн пользователей при помощи 16 TB памяти,
это примерно идентично 16ГБ на пользователя.
лично не видел приложение, которое способно аппаратно поддерживать такой объем оперативной памяти.
значит вы описАлись, и имели в виду дисковое пространство.

тогда ваш интернет проект можно назвать условно "хранилищем".

Далее, хотелось бы понять ваши требования к этому хранилищу:
сколько пользователей могут к нему подключаться параллельно ?
какую нагрузку они будут накладывать на систему ?
это определит как эти 16 ТБ будут лежать, на скольких каналах коммуникаций.
коммуникация тоже стоит денег, поинтересуйтесь сколько будет стоить закачать ваши 16 TB через сеть в систему.
думаю это превысит 7000 $.

возможен и слуцай, что для работы с таким объемом данных вам понадобится не просто "сайт" с распределением нагрузки, а инфраструктура масштабов google. и всё это вы хотите уложить в каких-то 7 тыс $ ?

начать нужно с НАЧАЛА: подумать, посчитать, создать прототип системы.
сам прототип будет состоять из нескольких компонентов (2-3 компа, какое-то коммуникационное устройство) - только это может стоить 4-5 k$.
a еще нужно разрабатывать, платить деньги инженерам, т.е. только месячная з/п может выйти в 3-4 k$.
a разработка может занять больше месяца...

остаётся 1 вариант: найти контрактёра с имеющимся оборудованием, уговорить его разработать прототип за ваши деньги (а он/она не согласится, т.к. такой проект не имеет смысла делать за такие деньги), и в конце выйти с пакетом ПО, без железа,  
потом найти инвесторов, уговорить их, что дело стоит выеденного яйца....
и начинать расширяться...
всё это зыбко, без какой-либо информации.

удачи, но денег у вас для такого проекта пока НЕТ.

Добавлено через 3 минуты и 58 секунд
блин, некрофилы...