Ребята, приветствую.

Ситуация:
есть файл, в котором содержится очень много строк (от 250 000 до 300 000). Длина строки фиксированная - 30 байтов. Мне надо эти строки обрабатывать. Строки могут повторятся, поэтому сначала я оставляю только уникальные строки.
Алгоритм такой:
1) Читаю из файла все строки в вектор:


2) Сортирую вектор:


3) Удаляю дубликаты строк:


Проблема в том, что с таким количеством строк программа валится на моменте сортировки.
Вопрос вот в чем, подскажите, как можно правильно и корректно поступить в данной ситуации?
Спасибо.

P.S. В названии темы неправильно написано слово "unique". Прошу прощения.  

Это сообщение отредактировал(а) rudolfninja - 4.2.2016, 22:25

Если валится, то кэлстэк было бы неплохо приложить. Вектор у тебя из std::string? Компаратор какой-нибудь свой в std::sort передаешь?

Вектор из std::string, своего компаратора никакого не писал.
Блин, сейчас на компе была запущена только студия и все нормально отработало. Буду пробовать еще раз словить падение и скину колстек.

Если нужен sort+uniq, то сначала сортировать, а потом выбирать uniq - плохая идея. Лучше сразу вместо вектора использовать сет.

Раз длина строк фиксированная, значит std::string не нужен. Экономнее читать каждую строку в массив байтов.


Этот ответ добавлен с нового Винграда - http://vingrad.com

стэк для программы увеличь, QSort иногда много его жрёт или не стековую сортировку какую ни будь используй

Этот ответ добавлен с нового Винграда - http://vingrad.com

Ребят, с сортировкой разобрался. Оказывается, в программе, которая генерирует данные есть возможность писать их в файл уже отсортированными =)
Всем спасибо за ответы.
Дальше слегка не по теме...
Возник такой вопрос: очень медленно отрабатывает функция erase  для вектора. Есть такой код:

Получается, что бывают моменты, что счетчик декрементируется, тем самым увеличивая время выполнения цикла. Этот цикл отрабатывает оооочень долго  . Даже когда под отладчиком пошагово прохожу, то длительное время зависаю на функции erase. В теории, насколько я понимаю, после каждого удаления процесс удаления становится быстрее, т.к. количество элементов в векторе уменьшается (хотя, я не уверен в этом, т.к. не знаю как реализовано удаление в векторе), но все равно, процесс очень долгий.
Есть варианты, как ускорить все это дело? Может использовать не вектор, а что-либо еще? Просто с моим количеством записей в этом векторе (около 250тыс) удаление занимает довольно длительное время...я бы даже сказал, что выполнение этого цикла сильно тормозит работу программы.
Подскажите, пожалуйста, как ускорить сие действо?
P.S. Элементы вектора отсортированы и важно сохранить это.

Это сообщение отредактировал(а) rudolfninja - 5.2.2016, 21:11

Если вы читаете из файла уже отсортированные, то просто изначально не добавляйте дубликаты.
(проверяйте при чтении)

Это ожидаемо. vector хранит элементы в линейном масиве памяти. erase приводит к перезаписи половины элементов (в среднем)


Угу, лучше всего list. И еще лучше дать ему свой allocate, что бы элементы располагались в общем пуле памяти, а не насиловали общую кучу С++   


А это еще лучше   

В общем да, порешал проблему...чуток изменил алогритм и все летает. 
Всем спасибо.