Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Java: Общие вопросы > Как увеличить размер кучи?

Автор: Bodro 24.3.2009, 16:56

В процессе работы кода (приложение и апплет - не важно) иногда появляется следующее сообщение: Код java.lang.OutOfMemoryError: Java heap space Я так понимаю, что мне не хватает памяти. Вполне вероятно код не оптимальный, но всё же, как увеличить размер кучи? Именно из кода.

Автор: LSD 24.3.2009, 16:57

Цитата(Bodro @  24.3.2009,  16:56 ) Именно из кода. Никак.

Автор: Bodro 24.3.2009, 17:03

Цитата(LSD @  24.3.2009,  16:57 ) Никак.  Ответ последовал быстро, но не порадовал. Получается выход один? Исправлять код?

Автор: LSD 24.3.2009, 17:20

Можно поправить скрипт который запускает приложение.

Автор: onsh76 25.3.2009, 00:56

Цитата(Bodro @ 24.3.2009,  16:56) Вполне вероятно код не оптимальный, но всё же, как увеличить размер кучи? Именно из кода. Из кода, вызовом какого-либо метода - не знаю, думаю что нет такого добра в Java. Вам нужно найти причину почему вылетает OOM exception... При старте JVM  Вы можете передать переменные и значения, задающие поведение JVM.  У меня был случай с Томкэтом, когда веб приложение отваливалось по OOM exception... Изменили дефолтовое значение MaxPermSize - болезнь вылечилась.Пример: JAVA_OPTS should be set to: “-Xss128k -server -Xms512m -Xmx512m -XX:MaxPermSize=256m“ Смотрите http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp...

Автор: niasilil 25.3.2009, 06:47

ага, добавь -Xmx512m  (или больше) и будет тибе щасье  запускай как то так  java -jar -Xmx756m Test.jar PS у меня недавно ant билдер вылетал, вот уж никогда бы не подумал. Пришлось добавлять параметры. Хотя бред, по моему. Можно было по дефолту такие включить.

Автор: Bodro 16.4.2009, 11:21

Так вот. Опишу проблему более детально. По крайней мере попытаюсь. У меня есть приложение. Оно довольно большое и в процессе работы может поедать довольно много памяти. Я запускаю это приложение и оно работает вполне корректно. Ничто не падает. Запускаю так: Код SET RIGHTSIZER_CLASSPATH=dist\RightSizer.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\AbsoluteLayout.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\activation.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\axis-vkernel-patch.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\commons-discovery-0.2.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\commons-logging-1.0.4.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\jaxen-core.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\jaxen-jdom.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\jaxrpc.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\jdom.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\log4j-1.2.8.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\log4j-1.2.15.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\mailapi.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\piccolo.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\piccolox.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\saxpath.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\smtp.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\vim.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\vim25.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\wbem.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\wsdl4j-1.5.1.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\xalan.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\xerces.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\xml-apis.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\VKUtils.jar SET RIGHTSIZER_CLASSPATH=%RIGHTSIZER_CLASSPATH%;dist\VKUtilsVim.jar java -classpath %RIGHTSIZER_CLASSPATH% com.vkernel.rightsizer.Main Всё отрабатывает без проблем! Но конечному пользователю надо поставить один файл. Поэтому принято решение всё запихать в один jar, используя проект One-Jar (http://one-jar.sourceforge.net/). Всё это работает под JRE 1.6, не ниже. Поэтому решено было написать ещё загрузчик, который собирается под старую версию 1.2. Всё это находится в одном jar файле. Таким образом, запуская Jar, сначала мы передаём управление этому загрузчику. Он проверяет версию JRE. Если версия 1.6 и выше, то загружаем загрузчик One-Jar: Код // Другой код         // Проверка версии и загрузка загрузчика OneJar и передача ему управления          if(verNum >= MIN_VERSION){             System.out.println("OK");             comparemyvm = Class.forName(LOAD_CLASS_NAME);             comparemyvm.newInstance();             params = new Class[1];             params[0] = String[].class;             m = comparemyvm.getMethod("main", params);             m.invoke(null, new Object[] {args});         }else{             System.out.println("FAILED");             System.out.println("The application requires a Java Runtime Environment 1.6 or later");             System.out.println("http://java.com/download");             ErrorFrame frame = new ErrorFrame();             frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);             frame.setVisible(true);             frame.setResizable(false);             frame.setTitle("Wrong Java version");         } // Другой код     public static final double MIN_VERSION  = 1.6;     public static final String LOAD_CLASS_NAME = "com.simontuffs.onejar.Boot"; // Другой код Этот загрузчик уже загружает проект и запускает его. В принципе, схема нормальная и работает. Но когда приложению требуется много памяти, то всё рушится. Вылетает OutOfMemory. Долго возился с причиной, версий много, но пока чёткой нет. Я так и не смог найти подробное описание работы HotSpot и вообще всех частей JVM. Однако проблему решил следующий способ запуска: Код java -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=C:\WORK\TEMP\DUMP -Xms150m -Xmx1000m -jar SnapshotMyvM.jar > logfile.txt 2>&1 Т.е. я задал вручную инициализируемый размер кучи и максимальный размер кучи. После этого всё работает! Ничто не падает. OutOfMemory не возникает. Я не до конца понимаю как работает JVM. Почему задание вручную размера кучи решает ситуацию? Какой размер по умолчанию у неё? Почему добавление системы BootStrap приводит к выпадению OutOfMemory? Ведь когда запускаешь без этих двух загрузчиков, то всё работает. Так вот. Проблема всё таки решилась заданием -Xms150m -Xmx1000m. Но не могу же я пользователям писать чтобы они запускали апплет из коммандной строки с этими параметрами. Существует ли способ задания этих опций в файле Manifest или ещё каким-либо программным образом?

Автор: _and 16.4.2009, 11:35

Цитата(Bodro @  16.4.2009,  15:21 ) Почему добавление системы BootStrap приводит к выпадению OutOfMemory? Ведь когда запускаешь без этих двух загрузчиков, то всё работает. попробуй поработать профайлером и выявить кто жрет много памяти и если это твой код то правь его если нет то скорее всего придется пользоваться этими параметрами Цитата(Bodro @  16.4.2009,  15:21 ) Так вот. Проблема всё таки решилась заданием -Xms150m -Xmx1000m. Но не могу же я пользователям писать чтобы они запускали апплет из коммандной строки с этими параметрами. Существует ли способ задания этих опций в файле Manifest или ещё каким-либо программным образом? программно не седлать такого, напиши батник который бы пользователи пускали а в нем уже все параметры проставленные  в IDEA  вроде параметры такие проставляются в файле проперти но запускается чере файл idea.exe

Автор: Bodro 16.4.2009, 11:57

Цитата(_and @  16.4.2009,  11:35 ) попробуй поработать профайлером и выявить кто жрет много памяти и если это твой код то правь его если нет то скорее всего придется пользоваться этими параметрами Самое печальное, что у меня всё работает и не падает. Падает у тестеров. Хотя машины одни и теже вроде. Мне непонятно, по какой причине GC не освобождает память??? Запускал с флагом -verbose:GC, но что-то не увидел сообщений от GC. По идее, если он отрабатывать будет, то падать не должно. Хотя я не знаю. Может и правда памяти не хватает. Но кто ограничил её??? Почему без загрузчиков всё работает? Свой код я и так уже переправлял! Уж не знаю что там не так! Цитата(_and @  16.4.2009,  11:35 ) программно не седлать такого, напиши батник который бы пользователи пускали а в нем уже все параметры проставленные  bat-файл писать нельзя. Должен быть один jar. Чтобы пользователь кликнул по нему мышью и всё заработало. Да к тому же нужна кроссплатформенность. Цитата(_and @  16.4.2009,  11:35 ) в IDEA  вроде параметры такие проставляются в файле проперти но запускается чере файл idea.exe Приложение должно быть кросспалтформенным. По крайней мере Windows и Linux. А как нибудь при сборке может можно задать?

Автор: _and 16.4.2009, 12:02

а если при клике на jar запускать какой-нить клас который после этого будет вызывать твой апплет с нужными параметрами, типа Код Runtime.getRuntime().exec(< команда запуска >);

Автор: Bodro 16.4.2009, 12:20

Цитата(_and @  16.4.2009,  12:02 ) а если при клике на jar запускать какой-нить клас который после этого будет вызывать твой апплет с нужными параметрами, типа      Runtime.getRuntime().exec(< команда запуска >); Да вообще как то странно! К тому же всё в одном файле. Нужно указывать разные точки входа. Одна при клике по умолчанию, вторая точка это мой загрузчик. Да к тому же там и так уже два загрузчика: мой и One-Jar. И не уверен я что это будет нормально работать. Да к тому же это некрасиво. Это не пойдёт! Смотри. Нашёл вот такие статьи: http://www.ibm.com/developerworks/ru/edu/j-apant/section4.html, http://javahowto.blogspot.com/2006/06/fix-javac-java-lang-outofmemoryerror.html. Так что можно указать размер кучи при компиляции. Сейчас попробую и скажу.

Автор: math64 16.4.2009, 13:45

Можно в манифесте прописать какие дополнительные jar нужны для запуска RightSizer.jar Тогда можно запускать командой java -jar RightSizer.jar Для инталяции можно в RightSizerInstall.jar запаковать нужные jar и RightSizerInstall.class, который будет их распаковывать в указанную пользователем папку и добавлять ссылку на десктоп.

Автор: Bodro 16.4.2009, 14:17

Цитата(math64 @  16.4.2009,  13:45 ) Можно в манифесте прописать какие дополнительные jar нужны для запуска RightSizer.jar Тогда можно запускать командой java -jar RightSizer.jar Для инталяции можно в RightSizerInstall.jar запаковать нужные jar и RightSizerInstall.class, который будет их распаковывать в указанную пользователем папку и добавлять ссылку на десктоп.  Да нельзя так делать! Я пишу коммерческое ПО. Если у пользователя нет прав на создание папок? Никаких инсталляторов, никаких распаковок и прочего. Должен быть один файл. Его надо запустить и чтобы всё работало. В общем посмотрел я те статьи, проанализировал. Могу предложить 4 способа задания фиксированного размера кучи. Возможно их больше. 1 способ: указываем в ant-срипте для сборки: Код <javac fork="true"        srcdir="${basedir}/src"        destdir="${basedir}/build/classes"        classpath="${project.classpath}"        memoryinitialsize="256m"        memorymaximumsize="256m"> </javac> memoryinitialsize="256m" memorymaximumsize="256m" 2 способ: указываем в виде дополнительных опций компилятору Код javac -d build/classes -classpath ... -J-Xms256m -J-Xmx256m 3 способ: указываем переменные окружения для ant Код export ANT_OPTS="-Xms256m -Xmx256m"    (ksh/bash) setenv ANT_OPTS="-Xms256m -Xmx256m"    (tcsh/csh) set ANT_OPTS="-Xms256m -Xmx256m"       (Windows) 4 способ: запускаем саму программу с нужными параметрами Код java -Xms150m -Xmx1000m -jar SnapshotMyvM.jar Пробовал 1, 3, 4 способ. Работает только 4-й способ. Посколько проект содержит два загрузчика, один из которых собирал не я, то я делал так: Собирал свой загрузчик со следующими параметрами: Код <javac              fork="true"             memoryinitialsize="150m"             memorymaximumsize="1000m"             source="1.2"             target="1.1"             debug="true"             debuglevel="lines,source"             srcdir="${loader-src.dir}"             destdir="${loader-dst.dir}">             <compilerarg value="-Xlint:unchecked" /> </javac> Собирал файлы программы так же. Выставлял переменные окружения. Не помогает! Помогает только запуск с нужными параметрами (способ 4). Возможно необходимо One-Jar пересобрать с такими опциями. Но не думаю что в этом дело. Хотя не знаю точно. В чём может быть причина то?

Автор: Bodro 16.4.2009, 15:06

Ха, читал я не внимательно! Написано же: Цитата When javac is compiling a large number of java source files, it may fail with java.lang.OutOfMemoryError: Эти те первые три способа что я указал вверху говорят именно javac что нужно собираться с такой кучей. Но на class файлах это никак не отображается! Получается мне подходит только четвёртый способ! Потому что мне нужно во время выполнения много памяти. Компиляция проходит нормально.

Автор: _and 17.4.2009, 04:01

я тебе не зря по-моему предложил сделать точку входа по умолчанию класс который будет вызывать нужный с определенными параметрами и чего в этом не красивого. Для твоего варианта это по-моему единственный выход IMHO/ просто покопай в эту сторону еще может интересного найдешь ну и соответственно с нами поделись как найдешь

Автор: math64 17.4.2009, 08:40

Цитата(Bodro @  16.4.2009,  14:17 ) Да нельзя так делать! Я пишу коммерческое ПО. Если у пользователя нет прав на создание папок? Никаких инсталляторов, никаких распаковок и прочего. Должен быть один файл. Его надо запустить и чтобы всё работало. А имеешь ли ты право делать так? Коммерческий jar может не разрешать так делать. А если так сделать с jar с лицензией GNU, твой jar тоже должен иметь лицензию GNU, и ты должен открыть исходники. /var/tmp должен быть открыт на запись, но там может не хватить места, чтобы развернуться.

Автор: Bodro 17.4.2009, 10:44

Цитата(math64 @  17.4.2009,  08:40 ) А имеешь ли ты право делать так? Коммерческий jar может не разрешать так делать. А если так сделать с jar с лицензией GNU, твой jar тоже должен иметь лицензию GNU, и ты должен открыть исходники. /var/tmp должен быть открыт на запись, но там может не хватить места, чтобы развернуться.  Я пишу коммерческое ПО под нашей лицензией. С закрытыми исходниками. Условия лицензии One-Jar соблюдены. А для пользователя нужно предоставить массу удобств. И программа работать будут не только в Linux, точнее она будет работать в основном в Windows и редко на других платформах. Создавать архив нельзя, потому что нельзя распаковываться. Если бы ты знал, какие бывают чудные пользователи!!! Небольшая трудность и они откажутся от ПО. Поэтому должно быть всё максимально удобно. Если поддерживается клик мышью по jar-файлу с автоматическим запуском, то так и должно быть. А если нет, то надо на сайте максимально понятно указать как запустить программу. Чтобы это было просто. Вот тебе всё понятно. А пользователю может быть не понятно. Он может вообще только что комп увидел и ему просто надо потыкать мышкой и получить результат. Так что должно быть всё просто. А инсталлятор писать вообще нельзя! Под все платформы не напишешь. Да и сложно это, написать грамотный инсталлятор, который бы учёл все особенности. Но всё равно большое спасибо! Цитата(_and @  17.4.2009,  04:01 ) я тебе не зря по-моему предложил сделать точку входа по умолчанию класс который будет вызывать нужный с определенными параметрами и чего в этом не красивого. Для твоего варианта это по-моему единственный выход IMHO/ просто покопай в эту сторону еще может интересного найдешь ну и соответственно с нами поделись как найдешь  smile   Сейчас я этот вопрос обсуждаю с начальством. Но понимаешь, тут есть проблема. Я сделаю подобную систему, как ты описал. Но и этого объёма памяти может не хватить. Вот что написано в официальном документе от Sun по поводу управления памятью http://java.sun.com/j2se/reference/whitepapers/memorymanagement_whitepaper.pdf: Цитата “On machines that are not server-class machines, the default values for JVM, garbage collector, and heap sizes are • the client JVM • the serial garbage collector • Initial heap size of 4MB • Maximum heap size of 64MB” “Heap Sizing Section 5 tells what the default initial and maximum heap sizes are. Those sizes may be fine for many applications, but if your analysis of a performance problem (see Section 7) or of an OutOfMemoryError (discussed later in this section) indicates a problem with the size of a particular generation or of the entire heap, you can modify the sizes via command line options specified in Section 8. For example, the default maximum heap size of 64MB on non–server–class machines is often too small, so you can specify a larger size via the –Xmx option.” Так что если мне не хватит места, то необходимо вручную настраивать среду. Например так: Код java -Xms150m -Xmx1000m -jar SnapshotMyvM.jar Сейчас вопрос остаётся открытый что делать с проблемой нехватки памяти. Но я предерживаюсь мнения, что вообще надо всё оставить как есть и просто на сайте указать что в случае падения с ошибкой OutOfMemoryError необходимо запустить программу с параметрами -Xms, -Xmx, в которых указать необходимый размер кучи. Например:  -Xms150m -Xmx1000m. Тогда кто понимает, настроит сам среду, а кто не понимает, просто с консоли введёт эти парметры и всё заработает. Но если и этого не хватит, то пусть или сам подбирает параметры или обратится в службу технической поддержки. Мне кажется, это самый нормальный вариант. Но вопрос решаю не я, а начальство.

Автор: _and 17.4.2009, 11:08

Цитата(Bodro @  17.4.2009,  14:44 ) Но я предерживаюсь мнения, что вообще надо всё оставить как есть и просто на сайте указать что в случае падения с ошибкой OutOfMemoryError необходимо запустить программу с параметрами -Xms, -Xmx, в которых указать необходимый размер кучи. Например:  -Xms150m -Xmx1000m. хозяин барин как говорится   , тока о каком удобстве может идти речь

Автор: Bodro 17.4.2009, 11:29

Цитата(_and @  17.4.2009,  11:08 ) хозяин барин как говорится  smile , тока о каком удобстве может идти речь   Ну а вариантов нормальных то больше нет! Писать загрузчик практчески бесполезно! Ну укажу я там максимальных размер 1000 МБ. Ну а если и его не хватит? Мне что, указывать все 4ГБ в качестве максимального? Если только так. На небольших наборах данным мне хватит и 64 МБ по умолчанию. А если выше, то пусть настраивают. Варианты то какие?

Автор: _and 17.4.2009, 11:32

ставь -Xms256m -Xmx512m этого должно быть вполне достаточно для большинства пользерова те у которых не помогло пусть в тех поддержку идут и все ж попробуй профайлером отловить место утечки полезнее будет

Автор: barin_Student 17.4.2009, 11:35

Цитата(Bodro @ 17.4.2009,  14:29) Цитата(_and @  17.4.2009,  11:08 ) хозяин барин как говорится  smile , тока о каком удобстве может идти речь   Ну а вариантов нормальных то больше нет! Писать загрузчик практчески бесполезно! Ну укажу я там максимальных размер 1000 МБ. Ну а если и его не хватит? Мне что, указывать все 4ГБ в качестве максимального? Если только так. На небольших наборах данным мне хватит и 64 МБ по умолчанию. А если выше, то пусть настраивают. Варианты то какие? 1 гига не хватит?   Может оптимизацией пора в плотную заняться?

Автор: Bodro 17.4.2009, 12:04

Цитата(_and @  17.4.2009,  11:32 ) ставь -Xms256m -Xmx512m этого должно быть вполне достаточно для большинства пользерова те у которых не помогло пусть в тех поддержку идут и все ж попробуй профайлером отловить место утечки полезнее будет Говорю же, у меня не воспроизводится, а воспроизводится на машине тестеров. Тестеры в другом городе. И у пользователей. И профайлер запустить я не могу. Да к тому же у меня нет утечки памяти! А если есть, то не критичная. Сам набор данных большой и хранить его надо в памяти. Иначе придётся сбрасывать на диск часть инфы, а это не желательно. Да в этом случае придётся настраивать мусоросборник. Всё равно придётся лезть в консоль. Цитата(barin_Student @  17.4.2009,  11:35 ) 1 гига не хватит? smile  Может оптимизацией пора в плотную заняться? smile   Специфика работы программы такая. Задачи бывают разные. Дело тут не в оптимизации. Если я буду долго оптимизировать код, то всё равно это не факт, что памяти хватит. Он упадёт не на этом наборе данных, но на чуть большем. Сама суть программы требует хранения большого объёма данных в памяти. Вот это то не зря написали: Цитата Heap Sizing Section 5 tells what the default initial and maximum heap sizes are. Those sizes may be fine for many applications, but if your analysis of a performance problem (see Section 7) or of an OutOfMemoryError (discussed later in this section) indicates a problem with the size of a particular generation or of the entire heap, you can modify the sizes via command line options specified in Section 8. For example, the default maximum heap size of 64MB on non–server–class machines is often too small, so you can specify a larger size via the –Xmx option.

Автор: Bodro 20.4.2009, 11:25

Тема закрыта.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)