Здравствуйте.
Стоит такая задача: заюзать в программе 1,6 ТБ ОЗУ.
Вопрос:
1) какая ОС из семейства линукс вообще поддерживает
2) есть ли какие-нибудь ограничения по памяти в gcc

Вопросы типа "а проверить" просьба не задавать, т.к. такой сервер  стоит недёшево, а купить его и убедиться, что либо ОС либо компилятор его не поддерживают - это EPIC FAIL.

Спасибо

Добавлено через 8 минут и 16 секунд
Здесь вычитал это

Кто-нибудь знает, откуда взялось это ограничение и можно ли его обойти (выключить)

Ограничение связано в первую очередь с шириной физической шины адреса процессора. Например, у Intel Core 2 Duo:Как не трудно догадаться физически адресовать может 32 ГБ, в то время, как виртуальная позволяет адресовать аж 256 ТБ. Поэтому, сначала узнай, какая шина у процессора в том сервере. И вообще, что за архитектура там?

Добавлено через 1 минуту и 22 секунды
Может там вообще кластер будет. Если так, то всю память единым пулом выделить вряд ли получится.

borisbn, это же система с рапределённой памятью, а не одна рабочая станция. Соответственно и подход совсем другой. По меркам кластеров это вообще скромная машина, инструментарий и средства разработки под такие системы доступны. И вопрос "проверить" совсем не глупый, такие системы покупаются у диллеров, которые должны быть в состоянии обеспечить профессиональную консультацию и ответить на все вопросы касающиеся разработки. 

borisbn, новые Ivy Bridge поддерживают до 1.5 терабайт на одной шине, но под них ещё платформ по-моему нет.

Это сообщение отредактировал(а) W4FhLF - 10.9.2012, 17:13

W4FhLF, честно говоря, никак не соображу, кластер это или "прокачанный" сервер.


Уже. Сегодня связался с IBM, но, боюсь, выяснение нужных мне "программистких" вопросов может занять длииииительное время, а у нас (как частенько бывает в РФ) срок - вчера. Поэтому и решил распараллелить выяснение: и у диллеров и на форуме.

В любом случае, спасибо.


А вот этого очень не хотелось бы. Дело в том, что программа уже имеется, и мне хотелось бы тупо изменить пару дефайнов (умножить на 100) и всё. Звучит как-то по-детски "тупо изменить пару дефайнов", но... почему бы и нет ?

borisbn, смотри, будет у тебя 4-х процессорный сервер. Допустим, каждый процессор будет владеть 512 ГБ личного ОЗУ. В пределах нее объема доступ к памяти быстрый, но как только процессор пытается влезть в память соседа, то скорость снижается у обоих, так как сосед должен прерваться, прочитать данные, и отдать их...
Я не специалист по таким машинам, но читал про организацию взаимодействия.

Есть ещё одно решение от HP
Там указывается ОС - Windows Server 2008. Windows нам не подходит, но сам факт, что туда ставится обычная (ну, ладно... не совсем обычная) ОС даёт надежду, что программам можно будет выделять до 2 ТБ памяти.
Или эта надежда не обоснована ?

Добавлено через 6 минут и 3 секунды

хммммммм. А ведь у меня похожая ситуация. Весь пул из 1,5 ТБ единым куском мне не нужен. У меня создаётся кол-во потоков по кол-ыу ядер и каждое ядро работает со своим куском. Сейчас этот кусок находится на HDD, а мы планируем его загрузить в память и одновременного доступа из разных потоков к одной памяти (о котором Вы говорили) не должно быть.
Однако вопрос остаётся.
Сможет ли Ubuntu увидеть 2 ТБ ?
Сможет ли gcc выделить если не единым блоком, а по 32 ГБ, но в сумме 2 ТБ ?

Мне кажется вы что-то путаете тут. Всё-таки нужна система с разделяемой или распределённой памятью? Приложения с распределённой памятью имеют принципиально другую парадигму программирования. Никакие потоки тут больше не "работают" и дело не в том, что доступ медленный, это просто невозможно. Стандартом де-факто для таких систем являются протоколы обмена сообщениями на базе MPI и работа осуществляется с множеством процессов, каждый имеет свою независимую память. Физически такая машина это набор отдельных PC, которые соединены  высокоскоростным каналом (Infiniband обычно). 

Это сообщение отредактировал(а) W4FhLF - 10.9.2012, 17:59

Насколько я понял из Вашего описания распределённой памяти, мне нужна разделяемая. Т.е. я фактически хочу масштабировать имеющуюся программу на больший объём памяти.

В таком случае вам нужна просто прокачанная рабочая станция типа такой: http://www.hp.com/united-states/campaigns/...ions/index.html

Как я уже писал, в ближайший год можно ожидать системы с большим объёмом памяти в связи с выходом новых архитектур процессоров, но сейчас больше 512 Гб найти будет трудно наверное. 

Это сообщение отредактировал(а) W4FhLF - 10.9.2012, 18:08

W4FhLF, у HP максимум 512 ГБ. А тут речь идет о 2 ТБ оперативной памяти.

Господа, если предположить, что проблема с "железом" решена (вернее, скажем так - я её беру на себя - свяжусь с HP, IBM etc.), то как насчёт моих вопросов по ОС и гцц?

gcc (на 64х битах) может выделить хоть до полного 64х битного пространства. Сам процессор ограничит до 48 битов (виртуальной). Так что вопрос остается за ОС. 

задай их тоже специалистам из означенных контор.   
А потом нам расскажешь. 

Спросите у программистов, которые под это писать будут.

PS У gcc для amd64 есть полезный ключик -mcmodel=large, он можэт избавить от наступания на некоторые грабли с памятью процэсса большэ 2GiB. Впрочем, грабли нечастые -- в большынстве случаев и без него на 64-битной архитектуре всё заработает. Но вообще проблем с поддержкой линуксом и gcc ожыдается довольно мало.

Дело в том, что это - я   


уже знаю. подмимал как-то эту тему - http://forum.vingrad.ru/forum/topic-353079/view-all.html - в самом конце сам же себе ответил.

Всё равно спасибо, что откликнулись.