Смысл в том, чтобы забить list 75к массивами.
Делал цикл на 75000 итераций:

JVM вылетает, как я понимаю из-за нехватки памяти. Пробовал также создать массив вне цикла:

Но в этом случае, поскольку массив содержит только ссылки на объекты, в list сохранится 75к массивов только со значениями последней итерации (изменение элементов массива отразится также на всех массивах list'a).
Код максимально упростил, чтобы оставить только суть, на самом деле парсится xml. Спасибо.

Это сообщение отредактировал(а) serghd - 28.1.2010, 16:45

И в чем вопрос-то? Увеличь память, или перейди на два листа.

Добавлено через 1 минуту и 4 секунды
Или даже 2 массива.

так увеличивал, такая же проблема как в последнем посте тут. Не помогает это

Это сообщение отредактировал(а) serghd - 28.1.2010, 17:28

Или переходи на 64 битную JVM или на два листа.

>>Или переходи на 64 битную JVM
как, можно по-подробнее?
>>или на два листа
а что, два ArrayList'a занимают меньше чем один большой?

Ставишь 64-х битную ОС, а на нее 64-х битную JVM 




Два ArrayList-а занимают места меньше чем один ArrayList и 75000 массивов String[].

LSD, простите что я в чужую тему вклиниваюсь, просто любопытно стало.
несколько вопросов.
для начала код:

вылетает на 88256 элементов.

1. если по умолчанию ВМ выделяет 64мб памяти, и этой памяти не хватает для 100к элементов, а только для 88256, полагаю, что в обработчике исключения нужно выделить еще памяти.
2. как в коде(не с помощью ключей) ее выделить?
3. как можно узнать объем объекта(не выделенной памяти)? в с++ есть оператор sizeof().
4. равноправно ли правило, что строка состоящая из 10-ти символов занимает 10 байт памяти ВМ?

спасибо.

Добавлено через 42 секунды

поясните пожалуйста. почему так?

И мне это рекомендовать всем, у кого будет программа?

Это сообщение отредактировал(а) serghd - 28.1.2010, 18:26

Тут все не так просто  Во первых - 64 Мб памяти это на всех, включая служебные данные самой JVM (поток сборки мусора, загруженные классы и т.п.). Во вторых ArrayList когда у него заканчивается место в массиве (который используется для хранения) создает новый больше предыдущего в 1.5 раза, а потом копирует туда данные из старого. И значит в какой-то момент времени памяти должно быть достаточно на 2 достаточно больших массива. В третьих если уж вылетел OutOfMemoryError, то ArrayList находится непонятно в каком состоянии (вернее он точно находится в неконсистентном состоянии).



Никак.




Честно - нет. А так создают много одинаковых объектов и смотрят, сколько они занимают места. Еще есть извраты через unsafe, рефлексию и т.д.




1. Один символ занимает 2 байта (это же Unicode).
2. Строка это объект и у нее есть еще данные кроме самих символов. Да и массив символов тоже потребляет место.
3. Строки могут совместно использовать массивы символов.
4. Некоторые ссылки на строку, могут быть ссылкой на одну и ту же строку.





Массив это объект. Как и любой объект у него есть накладные расходы: 8 байт на заголовок, 4 байта на длинну, и на данные. В случае с массивом объектов длинны 2 это будет 4*2 байта. Вот и считай, что лучше 2 * (8 + 4 + 75000 * 4) или (8 + 4 + 75000 * 4) + 75000 * (8 + 4 + 2* 4).

я думаю должна быть возможность "попросить" у ВМ, больше памяти, программно.

Твоя программа жрет слишком много памяти, это все что можно сказать из твоего кода и объяснения. И ты хочешь чтобы тебе подсказали как уменьшить потребление памяти, при этом вообще ничего не рассказывая ни про алгоритм работы, не показывая кода, вообще ничего кроме маленького примера, который вообще неизвестно насколько близок к реальной проблеме. И ты считаешь что это реально?

LSD, спасибо за разъяснение. многое прояснилось.
а по поводу программного перевыделения памяти - жаль конечно  

я уже подумал что можно "по человечески" разрулить ситуацию. типа этого:


тем не менее, всем спасибо.

UP

Это сообщение отредактировал(а) andrew_121 - 28.1.2010, 18:44

Ну можно попробовать пересоздать ArrayList и вызвать у него ensureCapacity() увеличив его немного по сравнению с предыдущим результатом.

Просто в реальных приложениях такая работа на грани означает, что надо что-то радикально менять в алгоритме и/или железе (перейти на 64 бита или нарастить память).

serghd, а можешь описать входные условия, ради чего тебе в памяти нужно дербанить 75к объектов, тем более массивов? Просто за все вермя работы в IT не приходилось гонять такие объемы, если это не было узкоспециализированной задачей, но там уже действительно выбирается другое железо и тюнится сама JVM.

Кстати в данном случае, можно в класс Item добавить ссылку на следующий элемент и таким образом организовать связный список. Если нужна только однонаправленная итерация по списку, то это будет самый экономный способ динамического выделения памяти