Модераторы: xvr

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> 2 TB ОЗУ. Как заюзать 
:(
    Опции темы
tzirechnoy
Дата 11.9.2012, 14:52 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1173
Регистрация: 30.1.2009

Репутация: 3
Всего: 16



Цитата
в самом конце сам же себе ответил.


А, я действительно пропустил окончание той темы.
Но, надо заметить, что несмотря на то, что в info gcc у меня тожэ это написано -- -mcmodel=large работает как полагается.

Добавлено через 1 минуту и 57 секунд
А вообще, можно позаимствовать у кого-нибудь пару тэрбайтных винтов, создать своп и проверить. Правда, полный проход будет долгим, ну тут уж что поделаешь.
PM MAIL   Вверх
bsa
Дата 11.9.2012, 15:39 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Модератор
Сообщений: 9185
Регистрация: 6.4.2006
Где: Москва, Россия

Репутация: 16
Всего: 196



tzirechnoy, не обязательно проходить полностью. Имхо, достаточно просто выделить столько и записать/прочитать в нескольких случайных местах, а так же в начале и конце блока. Если память выделится (а линукс известен своим оптимизмом на этот счет), и при этом программа не свалится по сегфолту, то можно считать, что скорее всего проблем не будет.
PM   Вверх
borisbn
Дата 11.9.2012, 15:40 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 4875
Регистрация: 6.2.2010
Где: Ростов-на-Дону

Репутация: нет
Всего: 135



Цитата(tzirechnoy @  11.9.2012,  14:52 Найти цитируемый пост)
-mcmodel=large работает как полагается

какой максимальный размер памяти удавалось выделить ?

Цитата(tzirechnoy @  11.9.2012,  14:52 Найти цитируемый пост)
А вообще, можно позаимствовать у кого-нибудь пару тэрбайтных винтов, создать своп и проверить

Это-то не проблема (найти пару ТБ винтов), но есть опасения, что при любом исходе этого эксперимента я не получу гарантию, что с настоящим ОЗУ будет то же самое. В самой подсистеме свопирования могут быть ограничения (вариант, что не заработало) или подсистема работы с ОЗУ может работать с такими объёмами только со свопом, а физического объёма не увидит в принципе...

Хотя, проверить всё же стОит. Спасибо за наводку


--------------------
Женщины отличаются от программистов тем, что у них чары состоят из стрингов
PM MAIL Jabber   Вверх
tzirechnoy
Дата 11.9.2012, 19:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1173
Регистрация: 30.1.2009

Репутация: 3
Всего: 16



Цитата
какой максимальный размер памяти удавалось выделить ?


Не знаю, я по другой причине это выяснил.
Впрочем, сейчас проверил -- статический массив в 40 тэрабайт вполне можно получить (оверкоммитом, свопа столько нет). Правда, смешно было: компилировался он только при выключенном оверкоммите -- иначе ld успешно получал себе столько памяти, и что-то пытался с ней делать.
malloc тожэ на несколько тэрабайт сработал.

Цитата
В самой подсистеме свопирования могут быть ограничения (вариант, что не заработало)


При наличии исходников Вы сможэте разбраться, где эти ограничения, и что с ними можно сделать. Кроме того, ограничений можэт и не быть.

Цитата
или подсистема работы с ОЗУ может работать с такими объёмами только со свопом,


Это -- вряд ли. Всё-таки большынство суперкомпьютэрных кластеров работает под линуксом -- и в ядре совсем базовые плюшки, скорее всего, вычистили.

PM MAIL   Вверх
borisbn
Дата 11.9.2012, 21:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 4875
Регистрация: 6.2.2010
Где: Ростов-на-Дону

Репутация: нет
Всего: 135



tzirechnoy, за ссылку на juick.com спасибо. Познавательно (хотя я и не всё понял)

Цитата(tzirechnoy @  11.9.2012,  19:05 Найти цитируемый пост)
оверкоммитом, свопа столько нет

Цитата(tzirechnoy @  11.9.2012,  19:05 Найти цитируемый пост)
при выключенном оверкоммите

ээээ.... ммммм.... а что такое оверкоммит ? И как его включать/выключать ?


--------------------
Женщины отличаются от программистов тем, что у них чары состоят из стрингов
PM MAIL Jabber   Вверх
tzirechnoy
Дата 11.9.2012, 23:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1173
Регистрация: 30.1.2009

Репутация: 3
Всего: 16



Цитата
ээээ.... ммммм.... а что такое оверкоммит ? И как его включать/выключать ?


Выделение адресного пространства, под которое нет места ни в физической, ни в виртуальной памяти.
/proc/sys/vm/overcommit_memory
(0 -- какая-то эвристика, отвергающая только совсем невменяемые запросы. 1 -- все запросы удовлетворяются. 2 -- система считает, что у неё есть total_swap+total_ram*overcommit_ratio/100 памяти. Соответственно, если overcommit_ration < 100 -- то выделенная память всегда имеется в наличии)
/proc/sys/vm/overcommit_ratio


PM MAIL   Вверх
borisbn
Дата 24.9.2012, 16:10 (ссылка) |    (голосов:1) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 4875
Регистрация: 6.2.2010
Где: Ростов-на-Дону

Репутация: нет
Всего: 135



Цитата(bsa @  11.9.2012,  11:01 Найти цитируемый пост)
задай их тоже специалистам из означенных контор.   
А потом нам расскажешь.  

Ок. Рассказываю.
1) В IBM меня заверили, что во-первых, этот сервер грубо говоря "прокачанная" рабочая станция. Т.е. речь идёт о том, что все установленные на борту процессоры видят всю память одновременно. Во-вторых, мне сказали, что из линуксов IBM поддерживает Red Hat и SuSe. Если одна из этиз ОС не будут поддерживать этот объём памяти на этом сервере, то это их (АйБиЭмовцев) проблема, которую они будут решать бесплатно
2) Т.к. у нас довольно много наработок на Ubuntu (как наших, так и покупных без исходников), то меня интересовало будет ли работать Ubuntu  на таком сервере. В IBM про это не знают, поэтому я связался с Canonical. Вот, что они ответили
Цитата
   I just heard back from Darryl about this and the verdict is that it
*should* in principle support 2TB of physical RAM because a 64-bit kernel
can *in theory* support up to 128TB of RAM.

   However I should point out that Canonical has not tested this in any 
configuration as far as we're aware and so as we have not verified this 
in practice we cannot guarantee anything.

   If it does not work though then this would be a bug and it could be 
fixed by us (so long as the customer has Ubuntu Advantage of course) so 
long as there were no hardware limitations and the hardware is fully 
supported.

Что ж. Осталось мелочь - купить такой сервер за > 4 млн. руб. и проверить  smile 

P.S. Вот, что значит фирма с мировым именем, продающая что-то и контора, развивающая OpenSource-проект:
в IBM мне дали сотовый телефон специалиста, который меня проконсультировал в течение 15..20 минут, ещё и предложив для моих целей более простую модель сервера (мне реально не нужна производительность того сервера, который я нашёл).
Canonical же мне вообще не ответила, и мне пришлось общаться с ними через официальных партнёров и заняло это почти 2 недели.


--------------------
Женщины отличаются от программистов тем, что у них чары состоят из стрингов
PM MAIL Jabber   Вверх
bsa
Дата 25.9.2012, 09:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Модератор
Сообщений: 9185
Регистрация: 6.4.2006
Где: Москва, Россия

Репутация: 16
Всего: 196



Цитата(borisbn @  24.9.2012,  17:10 Найти цитируемый пост)
Canonical же мне вообще не ответила, и мне пришлось общаться с ними через официальных партнёров и заняло это почти 2 недели. 
Ты у них платную поддержку покупал? Если нет, то с какого бодуна они должны с тобой разговаривать? Просто "халявщиков" много, а бесплатно отвечать на их вопросы далеко не каждый может себе позволить.
А с IBM все просто - им нужно продать свой продукт, вот "жопу и рвут".

Кстати, спасибо за информацию. Теперь будем знать.
PM   Вверх
borisbn
Дата 25.9.2012, 20:35 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Завсегдатай
Сообщений: 4875
Регистрация: 6.2.2010
Где: Ростов-на-Дону

Репутация: нет
Всего: 135



> А с IBM все просто - им нужно продать свой продукт
А канониклу не нужно? А после такого отношения не очень-то и хочется
и это при том, что пакет "базовый" у них стоит всего 10 Круб в год.
Ладно... это уже другая тема. Будет рез-т - отпишусь 


--------------------
Женщины отличаются от программистов тем, что у них чары состоят из стрингов
PM MAIL Jabber   Вверх
Ответ в темуСоздание новой темы Создание опроса
Правила форума "С/С++: Программирование под Unix/Linux"
xvr
  • Проставьте несколько ключевых слов темы, чтобы её можно было легче найти.
  • Не забывайте пользоваться кнопкой "Код".
  • Вопросы мобильной разработки тут
  • Телепатов на форуме нет! Задавайте чёткий, конкретный и полный вопрос. Указывайте полностью ошибки компилятора и компоновщика.
  • Новое сообщение должно иметь прямое отношение к разделу форума. Флуд, флейм, оффтопик запрещены.
  • Категорически запрещается обсуждение вареза, "кряков", взлома программ и т.д.

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, xvr.

 
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | C/C++: Программирование под Unix/Linux | Следующая тема »


 




[ Время генерации скрипта: 0.0588 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.