На платформе 64 адресов во много раз больше чем памяти. Это получается почти как система с бесконечной памятью. Фрагментация адресного пространства начнет волновать лет через 500 . 

На 32х разрядной XP есть не очень хорошее наследство в виде болезней роста. То для видеодрайвера дыра предусмотрена, то сначала у них было одно ограничение, драйвера писались под 2Gb, ну, там заморочено.

Вообщем, у меня памяти стоит 2,5Gb, и всё компилируется.
Есть ещё возможность поиграться с опциями компилятора, /Zm например убрать и увеличить, соответственно, память для хипа. Надо не только код в таких случаях приводить, но и размер свободной памяти перед выполнением, и размер всей памяти, а также настройки проекта (опции компилятора).

Добавлено через 1 минуту и 49 секунд


На 32х разрядных серверных платформах нет ограничения в 4Gbю Тут стоит говорить именно об XP.

Добавлено через 4 минуты и 30 секунд
И даже исполняется, не только компилируется. В дебаггере проверил).

  Ну не совсем так. Если верить википедии, то 

даже в режиме PAE в рамках одного процесса адресация все равно 32х битная. PAE позволяет системе использовать более 4х Гб, но не одному процессу. 

Что-то я не понял.
Это программная технология? Но как она работает если ограничение на физическом уровне, проц (контроллер памяти) адресует память и количество "захваченных" ячеек зависит от разрядности адресного регистра.

То, что описал Alexeis, это аппаратная реализация PAE; программный механизм опирается в свою очередь на аппаратный, и если его нет, то и адресовать больше 4 ГБ x32 ОС не сможет.
Если действительно интересно, почитайте вики, там неплохо описано http://en.wikipedia.org/wiki/Physical_Address_Extension.