Здравствуйте, меня интересует, возможно ли как то избежать нехватки памяти в этом случае?  Записал это всё дело в текстовый документ - в результате он занял около 600 мб.
Когда же записываю в словарь - не доходит даже до 30000000 итерации и ругается на нехватку памяти. Dictionary забирает под себя все 4 гб оперативы, записав по сути всего метров 200 в себя. Как оказалось, он очень прожорлив. Попробовал с List - там дело обстоит гораздо лучше. Как я понимаю в словарях много памяти уходит на хэш
 
private void button1_Click(object sender, EventArgs e)
        {
            long i = 0;
            for (int d = 0; d < 50000000; d++)
            {
                string line = "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA";
                dict.Add(i.ToString(), line);
                i++;
            }
        }

Зы Не спрашвайте зачем это нужно и не предлагайте использовать какую нибуть СУБД или что то подобное. Меня интересует конкретно этот случай.
За ранее всем благодарен.

Это сообщение отредактировал(а) N1ko - 26.1.2011, 22:57

Нет.

N1ko, 
загружать мелкими кусками и обрабатывать словарь нельзя ? 

если загружать мелкими порциями, то с течением времени CLR даст пинок сборщику мусору, и тот будет убирать неиспользуемые ссылки.
по крайней мере так думаю)

Да не, меня как раз интересует загрузка целого куска данных и сразу. Пробовал я принудительно GC запускать, таймауты даже пробовал ставить (вот так извращался =)). Всё равно не помогает. 

не верю. в x86 в винде приложению доступно только два гига.


ну вы и сравнили...


используйте x64, если не можете нормально алгоритм сделать обработки.

Хм... А можно подробнее про алгоритм обработки? Можно сделать что то более эффективное в данном случае?
Поправка -  в винде x86 доступно почти 3.18 гб. Вот их все и заюзало. 

Это сообщение отредактировал(а) N1ko - 27.1.2011, 12:49

N1ko, 

кто вам так безбожно наврал-то? Это еритики! Почитайте про устройство вирт памяти в винде (например в книжках по программированию драйверов). И "то что доступно самой винде" != "доступно моему приложению".

я не видел как вы обрабатываете данные. Ну если хочется то можно свой Dictionary сделать. Вплоть до unmanaged кода.

N1ko, а чем обусловлено то что данные нужно загружать все?

В словаре не может находиться элементов больше чем Int32.MaxValue.Конструктор словаря Dictionary<Key , Value>(int capacity).Так что в один словарь видимо не запихнеш) 

Это сообщение отредактировал(а) MefistoJ - 28.1.2011, 15:30

int.MaxValue = 2147483647  гораздо больше чем 50000000

N1ko, 
попробуй это http://msdn.microsoft.com/ru-ru/library/sy...dictionary.aspx

Кроме того что выполняется почти моментально, прекрасно умещается в памяти

Только не надо говорить "а я так не хочу" - не хочешь оптимизировать код, но хочешь чтоб все было быстро и хорошо? 
Ну бред же чеслово...

m0nax, о какой оптимизации ты говоришь? у меня падает исключение о нехватке памяти на первой строке

очевидно двух гигов все же не хватает...

Экскалупатор, ну у меня самого 2.5 гига, на выполнение хватило всего одного
А вариант из первого поста вываливался с исключением про нехватку памяти...

В любом случае тут ключевой момент в  new Dictionary<int, string>(50000000);
Без этого словарю приходится выделать память под новые элементы по мере их добавления и копировать туда существующие данные(а старая память становится мусором)

Это сообщение отредактировал(а) m0nax - 31.1.2011, 16:01

m0nax, это понятно. но памяти при этом тоже не хватает. да и к тому же тут есть небольшая нестыковка. в первом посте сказано что строки читаются из файла, а по сему их будет не одна(как в твоем примере) а 50000000. так что это очевидно не спасет.