VPF::Память под string - Форум программистов

hug

Дата 22.5.2008, 08:52 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 87
Регистрация: 27.7.2007

Репутация: нет
Всего: нет

Добрый день
Проблема такова:

Программа работает с длинными строками. Качает html переводит в строки(stream to string)-> парсит регулярками.

Замечена на предмет утечки памяти.(за сутки сьедается 2 гига, но программа в таск менеджере постоянно ест не более 100мб)
С помощью профайлера было определено, что наиболее большие затраты памяти как раз на string.
Прочитал, что память для string выделяется в куче
gc.collect вызывается

Вопрос:Может ли проблема быть связана со string
Если да, то как ее решить? Чистить строки но как?

mihryak

Дата 22.5.2008, 10:07 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 731
Регистрация: 28.4.2007
Где: С-Пб

Репутация: 19
Всего: 36

скорее всего утечка вызвана незакрытыми стримами или WebResponse'ами
вызывай в конце использования в блоке finally Close() или заверни использование в using

если не поможет, посмотри, как можно оптимизировать работу с памятью
сделай, к примеру, регулярное выражение строковой константой и единственный компилируемый инстанс Regex'а (в конструктор передав RegexOptions.Compiled)

без кода сложно что-либо ещё посоветовать

hug

Дата 22.5.2008, 10:12 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 87
Регистрация: 27.7.2007

Репутация: нет
Всего: нет

Цитата(mihryak @ 22.5.2008, 10:07)

Большое спасибо за ответ.

стримы все закрываю
ну возможно только, что не в finally
Про регулярку спасибо.
Но самое выражение константой наверно не получится. Возможно ли все равно использовать комплируемый инстанс?

Код



                        ArrayList Params = new ArrayList();
                        XPathNavigator xpn = xml.CreateNavigator();
                        XPathNodeIterator it = xpn.Select("//sources/source[@name='2']/information[@type='" + type.ToString() + "']/tasks/grouptask");
                        string id_group = String.Empty;
                        while (it.MoveNext()) //loop for group of task
                        {
                            url = it.Current.GetAttribute("baseurl", String.Empty);  //url for GroupTask
                            xpath = it.Current.GetAttribute("xpath", String.Empty);  //RegExp for GroupTask

                            XPathNodeIterator it1 = it.Current.Select("task/params");
                            while (it1.MoveNext()) //loop for Params for tasks
                            {
                                XPathNavigator groupidPath = it1.Current.SelectSingleNode("..");
                                id_group = groupidPath.GetAttribute("groupid", String.Empty);
                                XPathNodeIterator it2 = it1.Current.Select("param");
                                Params.Clear();
                                while (it2.MoveNext())
                                {
                                    Params.Add(it2.Current.Value.ToString());
                                }
                                string urlwithparams = null;
                                urlwithparams = url;
                                //insert params into url
                                for (int i = 0; i < Params.Count; i++)
                                {
                                    urlwithparams = urlwithparams.Replace(":par" + Convert.ToString(i + 1) + ":", Params[i].ToString());
                                }
                                try
                                {
                                    HttpWebRequest http = (HttpWebRequest)WebRequest.Create(urlwithparams);
                                    WebProxy proxy = new WebProxy();
                                    proxy.Address = new Uri(Init.GetProxy());
                                    http.Proxy = proxy;
                                    response = (HttpWebResponse)http.GetResponse();
                                }
                                catch
                                {
                                    Init.log("Error download");
                                    continue;
                                }
                                Stream receiveStream = response.GetResponseStream();
                                StringBuilder sb = new StringBuilder();

                                int Length = 1024*32;
                                Byte[] buffer = new Byte[Length];
                                int bytesRead = receiveStream.Read(buffer, 0, Length);
                                while (bytesRead > 0)
                                {
                                    sb.Append(System.Text.Encoding.UTF8.GetString(buffer, 0, bytesRead));
                                    bytesRead = receiveStream.Read(buffer, 0, Length);
                                }
                                buffer = null;
                                
                                receiveStream.Close();
                                receiveStream.Dispose();
                                response.Close();
                                //Select matches
                                Regex rx = new Regex(xpath);
                                MatchCollection matches = rx.Matches(sb.ToString());
                                responseString = null;
                                foreach (Match match in matches)
                                {
                                    files.Add(match.Groups[1].Value);
                                    group.Add(id_group);
                                }
                                rx = null;
                                matches = null;
                               
                               
                            }
                            
                        }

mihryak

Дата 22.5.2008, 10:33 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 731
Регистрация: 28.4.2007
Где: С-Пб

Репутация: 19
Всего: 36

в таком случае нет смысла компиллировать Regex, раз он используется только один раз

не углублялся в написанное, но

Код


                                catch
                                {
                                    Init.log("Error download");
                                    continue;
                                }

вот это может быть причиной утечки

hug

Дата 22.5.2008, 10:50 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 87
Регистрация: 27.7.2007

Репутация: нет
Всего: нет

спасибо. понял.
переместил освобождение стримов в finally

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Общие вопросы по .NET и C# \| Следующая тема »